Cisco MDS 9700 to seria wieloprotokołowych przełączników modularnych, która stosowana jest w średnich i dużych sieciach SAN. Potrafi obsługiwać FC (Fibre Channel), FCoE (Fibre Channel over Ethernet), FCIP (Fibre Channel over IP) i IBM FICON (Fibre Connection). Urządzenia te mogą pracować w trybie normalnego przełącznika FC z opcjonalną obsługą NPIV (Network Port Identifier Virtualization).
Wykorzystanie przełączników modularnych zwiększa bezpieczeństwo inwestycji. Obudowy stosowane w Cisco MDS 9700 w 2013 roku obsługiwały z pełną prędkością porty 16G FC, a 2017 roku porty 32G FC. Dziś już potrafią obsługiwać z pełną prędkością porty 64G FC. Nie musisz kupować całego urządzenia, kiedy pojawią się nowe prędkości i standardy. Wystarczy zmodyfikować tylko niektóre komponenty obudowy, w niezbędnym dla nas zakresie.
Przełączniki Cisco MDS 9700 nadają się do bardzo różnych zastosowań i potrafią połączyć ze sobą sieci SAN oparte na różnych protokołach. Dzięki obsłudze FCIP ułatwiają realizację scenariuszy DR (Disaster Recovery), obsługi kopii zapasowej czy replikacji. Aby można było realizować to wydajnie i bezpiecznie, w ramach połączeń FCIP wspierane jest także sprzętowe szyfrowanie z IPsec (IKEv1/IKEv2) oraz kompresję i akcelerację operacji odczytu i zapisu.
FICON stosowany jest przy komunikacji serwerów firmy IBM typu mainframe, jak IBM Z czy IBM LinuxONE z różnymi urządzeniami peryferyjnymi, jak urządzenia taśmowe czy dyskowe. FICON wyparł połączenia ESCON (Enterprise Systems Connection), które wcześniej wyparły stosowane w tych serwerach interfejsy Bus and Tag.
Z użyciem FICON, serwery te wymieniają z pamięcią masową operacje I/O czy bardziej tak zwane CCW (Channel Command Word) lub TCW (Transport Command Word). CCW są pojedynczymi poleceniami, podczas gdy TCW przenoszą wiele poleceń i danych. TCW obsługiwane są przy aktywnym zHPF (High Performance FICON), który poprawia znacząco wydajność całej komunikacji i sumaryczną ilość obsługiwanych operacji I/O.
FICON przenoszony jest z użyciem FC i obsługuje typowe dla FC połączenia typu point-to-point (N_Port-to-N_Port) i typu switched (N_Port-to-F_Port). FICON może być też obsługiwany w ramach połączeń FCIP (FICON over FCIP), gdzie Cisco MDS dodatkowo potrafią zapewnić akcelerację zapisów i odczytów dla napędów taśmowych.
Cisco MDS posiadają także wbudowany port IBM CUP (Control Unit Port), który umożliwia zarządzanie, diagnozę i obsługę błędów in-band dla pewnych elementów SAN Fabric z poziomu systemu IBM z/OS, serwera typu mainframe firmy IBM. CUP nie jest fizycznym interfejsem na przełączniku. Jest to wbudowany wewnętrz przełącznika port, do którego poprzez FICON kierowane są polecenia CCW/TCW zaadresowane na zarezerwowany adres portu 0xFE.
VSAN należący do FICON może być obsługiwany z poziomu CLI urządzeń Cisco MDS 9700, systemu zarządzania Cisco DCNM (Data Center Network Manager) lub systemu zarządzania firmy IBM, który obsługuje interfejs IBM CUP. Do ciekawszych funkcji tego interfejsu należy m.in. obsługa SA/390, Resource Measurement Facility (RMF) i Dynamic Channel Path Management (DCM). Cisco MDS 9700 obsługują także tryb NPIV w stronę systemów GNU/Linux działających wewnątrz hiperwisora IBM z/VM (Virtual Machine), co zapewnia lepszą separację oraz zwiększa elastyczność w sposobie definiowania i różnicowania dostępów do pamięci masowej (Zoning/LUN Masking).
Obecnie FICON obsługiwany jest tylko na dwóch platformach z tej serii Cisco MDS 9710 i Cisco MDS 9706.
Cisco MDS 9700 są w stanie przenosić za pomocą protokołu FC dane i polecenia protokołu SCSI (Small Computer System Interface) i NVMe (Non-Volatile Memory Express) i CCW/FICON, stąd obsługują zarówno od dawna wykorzystywane SCSI-FCP (SCSI Fibre Channel Protocol) i FICON, jak i nowe FC-NVMe.
FC-NVMe to NVMe-oF (NVMe over Fabric), gdzie w tym przypadku SAN Fabric jest sieć oparta na protokole Fibre Channel over Fibre Channel lub Fibre Channel over Ethernet.
Udostępniają one SAN Fabric mogącą równolegle obsługiwać FC, FCoE, FCIP i FICON. Zatem obsługuje ona inicjatory (ang. initiator) i targety (ang. target) z obsługą protokołu SCSI lub NVMe oraz SCSI i NVMe, a także FICON.
Obsługa protokołu FC i FICON w ramach jednej SAN Fabric znana jest też pod nazwą Protocol Intermix Mode (PIM). Aby tego było, Cisco MDS 9700 obsługują połączenia Ethernet dla FCIP, CEE (Converged Enhanced Ethernet) dla FCoE oraz oczywiście FC (Fibre Channel). CEE i FC może przenosić zarówno SCSI-FCP, jak i FC-NVMe.
Przełączniki modularne Cisco MDS 9700 posiadają specjalne układy ASIC, potrafiące realizować inspekcję nagłówków protokołu FC, SCSI i NVMe przy pełnej prędkości portu, dostarczając w ten sposób bardzo dużą ilość danych telemetrycznych do realizacji zaawansowanej analityki, przewidywania i wizualizacji.
Dzięki nim widać aktualny czy historyczny stan infrastruktury SAN oraz można dokładnie wskazać przyczynę anomalii, złego jej działania czy niepowołanego zdarzenia.
Tak zaawansowana oraz dokładna analityka i telemetria, która nie ma negatywnego wpływu na przełączany ruch, możliwa jest za sprawą dedykowanych do tego celu procesorów NPU (Network Processor Unit).

- Cisco MDS 9706 (9 RU) obsługuje 4 karty liniowe, gdzie per slot karty liniowej jest do dyspozycji pasmo 3 Tbps FC lub 2640 Gbps Ethernet i sumarycznie dla całej obudowy 11.5 Tbps FC lub 10.5 Tbps FCoE (przy 6 kartach Fabric-3). Wszystko to w obu kierunkach. 4 zasilacze.
- Cisco MDS 9710 (14 RU), obsługuje 8 kart liniowych, gdzie per slot karty liniowej jest do dyspozycji pasmo 3 Tbps FC lub 2640 Gbps Ethernet i sumarycznie dla całej obudowy 24 Tbps FC lub 21 Tbps FCoE (przy 6x kartach Fabric-3). Wszystko to w obu kierunkach. Zawiera 8 zasilaczy.
- Cisco MDS 9718 (26 RU), obsługuje 16 kart liniowych, gdzie per slot karty liniowej jest do dyspozycji pasmo 3 Tbps FC lub 2640 Gbps Ethernet i sumarycznie dla całej obudowy 48 Tbps FC lub 42 Tbps FCoE (przy 6x kartach Fabric-3). Wszystko to w obu kierunkach. Zawiera 16 zasilaczy.
Dodatkowo, dzięki dostępnemu w nowych komponentach Secure Boot & Anti-Counterfeit Technology możemy mieć pewność, że przełączniki posiadają oryginalne komponenty sprzętowe i oprogramowanie firmy Cisco Systems.
- 48x 8/16/32/64G FC
- 48x 4/8/16/32G FC
- 24x 40Gbps FCoE
- 24x 2/4/8/16G FC, 8x 1/10GbE lub 2x 40GbE FCIP

W przełącznikach serii Cisco MDS 9700 domyślna ilość BC (Buffer Credits) na każdym z portów wynosi 500. Na karcie liniowej obsługującej 32G FC, maksymalna ilość dla poszczególnych 16-portowych grup wynosi 8300 BC. Dodatkowo, dla pojedynczego portu takiej karty w ramach każdej z grup można ustawić do 8170 BC, co umożliwia wymianę danych pomiędzy dwoma przełącznikami FC z prędkością 32G na odległości do około 500km.
Należy pamiętać, że kiedy dojdzie od uszkodzenia lub zgubienia ramki FC, to wymagana jest retransmisja całej sekwencji ramek, związanej z danym zapytaniem, którą musi wymusić protokół przenoszony w FC. Dla przykładu, jeżeli była to ramka z danymi protokołu SCSI, to retransmisja takiej sekwencji ramek, czy bardziej ponowienie IO odbędzie się po przekroczeniu czasu oczekiwania, który zwykle domyślnie dla SCSI wynosi od 30 do 60 sekund.
Aby zminimalizować ten efekt, na portach 16G i szybszych wymagana jest obsługa FEC (Forward Error Correction). FEC pozwala na korekcję uszkodzonych w trakcie transmisji bitów, dzięki czemu zapobiega odrzucaniu takich uszkodzonych ramek. Należy jednak pamiętać, iż FEC obsługiwany jest na połączeniach ISL (Inter Switch Link), pomiędzy przełącznikami FC oraz połączeniami do HBA (Host Bus Adapter) macierzy czy serwerów, jeżeli ich HBA obsługuje tą funkcjonalność. FEC potrafi naprawić do 11 z 2112 bitów danych ramki FC.
Pojedyncze urządzenie jest w stanie spowolnić czy nawet zatrzymać na pewien czas działanie całej SAN Fabric, w tym jej wszystkich połączeń czy przyłączonych do niej urządzeń. Określane jest to stanem Slow Drain, w którym sieć SAN spowalnia czy nawet chwilowo przestaje odpowiadać.
- problemy wydajnościowe serwera, aplikacji lub systemu operacyjnego,
- niepoprawne wyłączenie czy nagłe zniknięcie maszyny wirtualnej,
- problemy na poziomie karty lub sterownika HBA (Host Bus Adapter),
- niezgodności prędkości, gdzie jedno z urządzeń lub połączeń jest szybsze od innego,
- problemy z okablowaniem, przejściówkami lub modułami.

Cisco MDS potrafią wykryć Slow Drain w 2.5µs i automatycznie zneutralizować jego efekt w czasie poniżej 1 ms. Proces wykrywania Slow Drain realizowany jest w oparciu o wiele różnych metryk, powiązanych z dostępną ilością BC na każdym z portów czy różnymi czasami opóźnień czy oczekiwania.
Jedną z ciekawszych technik neutralizowania efektu Slow Drain w Cisco MDS, jest Congestion Isolation. Polega ona na podziale jednego połączenia na 4-wirtualne, VL0 (Control Traffic), VL1 (High Priority Traffic), VL2 (Slow Traffic) i VL3 (Normal Traffic). Każde z wirtualnych połączeń ma do dyspozycji swoją prywatną pulę BC, którą zarządza. W ten sposób Cisco MDS może tak wyizolować ruch powiązany z Slow Drain Device, by nie miał on wpływu na resztę urządzeń i ruchu wymienianego wewnątrz SAN Fabric.

Kiedy negatywne efekty znikną i wszystko się unormuje, Cisco MDS potrafi przywrócić wyizolowane wcześniej przepływy Slow Drain Device. Realizowane jest to automatyczne, dzięki Congestion Isolation Recovery.
Zoning służy do definiowania polityk wymiany ruchu w ramach SAN Fabric. Ogranicza on informacje, jakie wysyłane są do inicjatorów o dostępnych targetach, a także pilnuje tego, aby nie nawiązały one połączeń do złych targetów. Zabezpiecza to przed nieuważnym podłączeniem inicjatora do złego miejsca czy wolumenu i tym sposobem potencjalnego uszkodzenia danych. Stosowane są dwa podejścia w konfiguracji zoningu:
- jeden inicjator i jeden target,
- jeden inicjator i wszystkie jego targety.
Do podobnego celu stosowany jest LUN Masking, który bezpośrednio na poziomie pamięci masowej określa widoczne dla konkretnych inicjatorów wolumeny. Dla bezpieczeństwa i porządku powinno się stosować oba te mechanizmy.
Aby ułatwić konfigurację zoningu w dużych sieciach SAN, gdzie tworzenie stref jeden-do-jeden może być bardzo czasochłonne i podatne na błędy, przełączniki Cisco MDS udostępniają funkcjonalność Smart Zoning, która może być wykorzystywana równolegle z normalnym zoningiem w ramach jednego zbioru stref (ang. zoneset). Smart Zoning analizuje informacje zawarte w polu device-type z bazy danych na FCNS (Fibre Channel Name Server), identyfikując komunikujące się ze sobą pary initiator-target i tworząc stosowne wpisy w tablicach TCAM.
Dzięki VSAN (Virtual SAN) możemy w ramach jednej sieci fizycznej stworzyć wiele niezależnych logicznych sieci SAN, zapewniając w ten sposób pełną izolację ruchu, która potrzebna może być ze względu bezpieczeństwa, minimalizacji wpływów potencjalnych problemów i zmian w konfiguracji czy też różnego przeznaczenia VSAN.
Do routingu FCID (Fibre Channel Identifiers) pomiędzy przełącznikami FC wykorzystywany jest protokół FSPF (Fabric Shortest Path First), który wybiera trasy z użyciem algorytmu Dijkstry. Realizuje to w podobny sposób, jak w ramach jednego obszaru robi to protokół OSPF czy IS-IS. Dzięki FSPF pomiędzy przełącznikami FC można tworzyć redundantne połączenia czy nawet pętle. FSPF wspiera routing ECMP (Equal Cost Multi Path).
SAN PC (Port Channel) umożliwia agregację do 16 fizycznych interfejsów w jeden logiczny, o większej przepustowości. Rozkładem obciążenia na wszystkich interfejsach zajmuje się wybrany algorytm, który dynamicznie dostosowuje się do ilości działających w danej chwili interfejsów fizycznych. Awaria jednego z interfejsów fizycznych nie ma wpływu na całościowy stan operacyjnych interfejsu Port Channel, który pozostaje aktywny do momentu awarii lub wyłączenia ostatniego interfejsu składającego się na PC. Awaria pojedynczego interfejsu ma wypływ tylko na aktualną serializację pakietu w takim interfejsie fizycznym i sumaryczną prędkość wiązki PC.
Wykorzystanie PC jest szczególnie zalecane w przypadku połączeń do urządzeń pracujących w trybie NPV. W ten sposób awaria pojedynczego interfejsu fizycznego pomiędzy urządzeniem NPV i urządzeniem obsługującym tryb NPIV nie wymusza ponownego logowania się do SAN Fabric części interfejsów HBA urządzeń końcowych, które zalogowane były za interfejsem, jaki uległ awarii. Podobnie, kiedy interfejs taki powróci do działania. Port Channel może go od razu wykorzystać do przekazywania ruchu, co nie byłoby możliwe od tak w normalnym trybie pracy interfejsu, gdyż do SAN Fabric nie byłby zalogowany przez niego żaden interfejs HBA.
Nie są to wszystkie dostępne na tych platformach funkcjonalności czy obsługiwane technologie i protokoły. Wybraliśmy tylko kilka z nich, które według nas warte były uwagi. Po więcej odsyłamy do strony producenta.
Na końcu warto dodać, że o ile Cisco MDS może obsługiwać rozwiązania serwerowe różnych producentów i też serwery Cisco UCS (Unified Computing System) mogą działać z przełącznikami różnych producentów, to najwięcej zyskamy, kiedy połączymy Cisco MDS i Cisco UCS razem.

Zyskamy wtedy łatwiejsze i spójniejsze zarządzanie, lepsze wykorzystanie dostępnej przepustowości, lepszą odporność na awarie, szybsze reakcje na awarie, bardziej efektywny powrót do działania po awarii, lepszą widoczność End-to-End oraz obsługa End-to-End VSAN czy pełne multitenancy infrastruktury.
Więcej o tym co można zyskać, łącząc Cisco MDS i Cisco UCS zostało pokazane na nagraniu wideo.
Zapraszamy do kontaktu drogą mailową This email address is being protected from spambots. You need JavaScript enabled to view it. lub telefonicznie +48 797 004 932.