Cisco MDS Fabric Switches
 

Cisco MDS 9100T to seria przełączników FC (Fibre Channel), która pozycjonowana jest do budowy małych i średnich sieci SAN oraz działania w architekturze ToR (Top of Rack) większych sieci SAN.

Cisco MDS 9300T to seria przełączników FC (Fibre Channel), która pozycjonowana jest do budowy średnich sieci SAN oraz działania w architekturze EoR (End of Row) i MoR (Middle of Row) większych sieci SAN. Nadaje się do zastosowania także w architekturze ToR (Top of Rack), gdzie wymagana jest duża gęstość portów.

Urządzenia te mogą pracować zarówno w trybie normalnego przełącznika FC, jak i w trybie NPV (Network Port Virtualization). W trybie przełącznika potrafią obsługiwać NPIV (Network Port Identifier Virtualization).



Są w stanie przenosić za pomocą protokołu FC dane i polecenia protokołu SCSI (Small Computer System Interface) i NVMe (Non-Volatile Memory Express), stąd obsługują zarówno od dawna wykorzystywane SCSI-FCP (SCSI Fibre Channel Protocol), jak i nowe FC-NVMe. FC-NVMe to NVMe-oF (NVMe over Fabric), gdzie w tym przypadku fabryką jest sieć oparta na infrastrukturze i protokole Fibre Channel.

Cisco MDS udostępniają fabrykę mogącą równolegle obsługiwać inicjatory (ang. initiator) i targety (ang. target) z obsługą protokołu SCSI lub NVMe oraz SCSI i NVMe. Należy jednak pamiętać, że o ile obsługa FC-NVMe nie jest zależna od prędkości portu FC, to im będzie ona większa, tym lepiej.


Modele przełączników z tej serii posiadają specjalne układy ASIC, potrafiące realizować inspekcję nagłówków protokołu FC, SCSI i NVMe przy pełnej prędkości portu, dostarczając w ten sposób bardzo dużą ilość danych telemetrycznych do realizacji zaawansowanej analityki, przewidywania i wizualizacji.

Dzięki nim widać aktualny czy historyczny stan infrastruktury SAN oraz można dokładnie wskazać przyczynę anomalii, złego jej działania czy niepowołanego zdarzenia.



Dodatkowo, dzięki VMID (Virtual Machine Identifier) przenoszonym w każdej ramce FC da się powiązać występujące zdarzenia z konkretnymi maszynami wirtualnymi (VM), jak i wizualizować czy analizować wydajność ich dostępów dyskowych. Rozciągnięcie widoczności poza maszyny fizyczne (ang. bare metal) i świadomość maszyn wirtualnych jest tym, czego od dawna brakowało w sieciach SAN.

Tak zaawansowana oraz dokładna analityka i telemetria, która nie ma negatywnego wpływu na przełączany ruch, możliwa jest za sprawą dedykowanych do tego celu procesorów NPU (Network Processor Unit). O
ba modele posiadają także dedykowany port Ethernet do transmisji danych telemetrycznych:
  • Cisco MDS 9132T: 10/100/1000BASE-T,
  • Cisco MDS 9148T: 1/10GbE SFP+,
  • Cisco MDS 9396T: 1/10GbE SFP+.
Oprócz różnych danych statystycznych, Cisco MDS udostępniają też generatory ruchu i narzędzia diagnostyczne, za pomocą których można dokonać weryfikacji jakości połączeń ISL pomiędzy przełącznikami i interfejsów HBA urządzeń końcowych, w tym poprawność funkcji podwarstwy MAC, firmware, sterownika czy układu nadawczo odbiorczego. Narzędzia te umożliwiają wykonywanie testów w ramach tego samego połączenia (ang. single-hop), jak i do oddalonych w sieci SAN miejsc (ang. multi-hop).
 
 
Za ich sprawą można też m.in. sprawdzić długość okablowania czy opóźnienia występujące wewnątrz przełącznika i na kablu. Dostępne są też takie narzędzia, jak Fibre Channel Ping czy Fibre Channel Traceroute.

Jesteśmy partnerem Cisco Systems i za naszym pośrednictwem można zakupić ich rozwiązania na polskim rynku. Zainteresowanych zapraszamy do This email address is being protected from spambots. You need JavaScript enabled to view it.. Z nami masz pewność, że wszystko pochodzi z oficjalnego kanału.

Przełączniki te posiadają porty 4/8/16/32G FC z funkcjami zaawansowanej analityki i telemetrii. Dostępne w nich porty można dynamicznie aktywować, w modelu pay-as-you-grow:
  • Cisco MDS 9132T: 8 -> 16 -> 24 -> 32 portów FC, łącznie 1 Tbps ruchu (32x32G bez blokowania),
  • Cisco MDS 9148T: 24 -> 32 -> 40 -> 48 portów FC, łącznie 1.5 Tbps ruchu (48x32G bez blokowania).
  • Cisco MDS 9396T: 48 -> 68 -> 80 -> 96 portów FC, łącznie 3 Tbps ruchu (96x32G bez blokowania).
Cisco MDS 9148T posiada na stałe wbudowane 48 portów FC. Cisco MDS 9132T posiada wbudowane 16 portów FC, których ilość można zwiększyć do 32 poprzez specjalny moduł z dodatkowymi 16 portami.
 
Do zarządzania out-of-band Cisco MDS 9132T posiada dwa porty Ethernet 10/100/1000BASE-T, a Cisco MDS 9148T port 10/100/1000BASE-T i port 1/10G SFP+ Ethernet.
 
Cisco MDS 9396T mają 48 wbudowanych na stałe portów FC, których ilość można zwiększyć do 96 poprzez specjalne trzy 16-portowe moduły rozszerzeń. Instaluje się je w slotach umiejscowionych w górnym poziomie przełącznika. Do zarządzania out-of-band Cisco MDS 9396T posiada port 10/100/1000BASE-T i port 1/10G SFP+ Ethernet.



Oba modele posiadają redundantne zasilacze i moduły wentylatorów, które można wymienić w trakcie pracy urządzenia (ang. hot swappable). W zależności od potrzeby, moduły wentylatorów mogą posiadać wylot (niebieskie) lub wlot (czerwone) powietrza od strony portów. Oprócz tego, każdy kluczowy komponent urządzenia posiada odpowiednie diody sygnalizujące jego stan i sprawność.

Dodatkowo, dzięki Secure Boot & Anti-Counterfeit Technology możemy mieć pewność, że przełączniki posiadają tylko oryginalne komponenty sprzętowe i oprogramowanie firmy Cisco Systems.

Dzięki CFS (Cisco Fabric Services) możliwa jest automatyczna synchronizacja konfiguracji poszczególnych usług w ramach całej fabryki, składającej się z wielu niezależnych przełączników Cisco MDS. Realizowane jest to bez żadnych dodatkowych zewnętrznych systemów zarządzania. Wystarczy zmodyfikować zoning czy konfigurację innych usług fabryki na jednym z przełączników, a pojawi się ona na pozostałych w ramach danego regionu CFS.
 
Do obsługi Cisco MDS można wykorzystać CLI lub system Cisco DCNM (Data Center Network Manager). Obsługują one też SNMP i posiadają otwarte API, do którego można uzyskać dostęp za pomocą HTTP/HTTPS, stąd można je łatwo podpiąć także do własnego systemu zarządzania. Oprócz typowego dla NXOS CLI, wewnątrz przełącznika obsługiwany jest także język Python, harmonogram zadań oraz EEM (Embedded Event Manager). Przełączniki Cisco MDS mogą być również automatyzowane z wykorzystaniem Red Hat Ansible Automation Platform.
 
 
Przełączniki Cisco MDS obsługują integrację z Red Hat OpenStack Platform, dzięki czemu platforma ta może w zautomatyzowany sposób zarządzać konfiguracją stref (ang. zoning) na przełącznikach Cisco MDS. Jest to przydatne w trakcie m.in. tworzenia lub usuwania wolumenów blokowanych na macierzach dyskowych ulokowanych w sieci SAN, które to przypisywane są wirtualnym instancjom działającym w ramach Red Hat OpenStack Platform.

Jesteśmy partnerem Cisco Systems i za naszym pośrednictwem można zakupić ich rozwiązania na polskim rynku. Zainteresowanych zapraszamy do This email address is being protected from spambots. You need JavaScript enabled to view it.. Z nami masz pewność, że wszystko pochodzi z oficjalnego kanału.

Fibre Channel na poziomie FC-2 realizuje transmisję bezpołączeniową i bez potwierdzeń, ale z użyciem B2B Credits (Buffer-to-Buffer Credits). Za niezawodność, w tym wykrycie przekroczenia czasu oczekiwania, ponowienie transmisji czy potwierdzenia odpowiadają przenoszone w FC protokoły wyższe, jak SCSI czy NVMe.
 
B2B Credits stosowane są do kontroli przepływów (ang. Flow Control), na każdym połączeniu fabryki FC. Z każdą wysłaną ramką danych FC zużywany jest jeden kredyt na porcie odbierającym. Kiedy odbierający port przekaże ramkę dalej, informuje stronę od której ją otrzymał o przywróceniu kredytu za pomocą ramki ze statusem R_RDY. Dzięki B2B i R_RDY szybkość transmisji dostosowywana jest do możliwości odbiorczych konkretnych portów.
 
O ile B2B i R_RDY starają się zapewnić bezstratną transmisję, to w praktyce zawsze może dojść do uszkodzenia bitów ramki czy całkowitego jej zgubienia na skutek awarii, któregoś z połączeń czy przełączników fabryki.

W przełącznikach Cisco MDS 9132T, Cisco MDS 9148T i Cisco MDS 9396T domyślna ilość BC (Buffer Credits) na każdym z portów wynosi 500. Maksymalna ilość dla poszczególnych 16-portowych grup wynosi 8300 BC. Dodatkowo, dla pojedynczego portu w takiej grupie można ustawić do 8170 BC, co umożliwia wymianę danych pomiędzy dwoma przełącznikami FC z prędkością 32G na odległości do około 500km.
 
Dzięki obsłudze FC-SP (Fibre Channel Security Protocols) oraz Cisco TrustSec Fibre Channel i co za tym idzie obsłudze szyfrowania switch-to-switch oraz uwierzytelnienia switch-to-switch i host-to-switch, wymiana danych w ramach takich połączeń może odbywać się z zachowaniem należytego poziomu bezpieczeństwa i poufności.

Należy pamiętać, że kiedy dojdzie od uszkodzenia lub zgubienia ramki FC, to wymagana jest retransmisja całej sekwencji ramek, związanej z danym zapytaniem, którą musi wymusić protokół przenoszony w FC. Dla przykładu, jeżeli była to ramka z danymi protokołu SCSI, to retransmisja takiej sekwencji ramek, czy bardziej ponowienie IO odbędzie się po przekroczeniu czasu oczekiwania, który zwykle domyślnie dla SCSI wynosi od 30 do 60 sekund.

Aby zminimalizować ten efekt, na portach 16G i szybszych wymagana jest obsługa FEC (Forward Error Correction). FEC pozwala na korekcję uszkodzonych w trakcie transmisji bitów, dzięki czemu zapobiega odrzucaniu takich uszkodzonych ramek. Należy jednak pamiętać, iż FEC obsługiwany jest na połączeniach ISL (Inter Switch Link), pomiędzy przełącznikami FC oraz połączeniami do HBA (Host Bus Adapter) macierzy czy serwerów, jeżeli ich HBA obsługuje tą funkcjonalność. FEC potrafi naprawić do 11 z 2112 bitów danych ramki FC.
 
FEC nie pomoże, jeżeli ramka zostanie uszkodzona w trakcie transmisji pomiędzy przełącznikiem FC, a urządzeniem końcowym z kartą HBA, która nie obsługuje FEC. W takim przypadku zostanie ona odrzucona na wejściu podczas weryfikacji sumy kontrolnej CRC (Cyclic Redundancy Check).

Pojedyncze urządzenie jest w stanie spowolnić czy nawet zatrzymać na pewien czas działanie całej fabryki, w tym jej wszystkich połączeń czy przyłączonych do niej urządzeń. Określane jest to stanem Slow Drain, w którym sieć SAN spowalnia czy nawet chwilowo przestaje odpowiadać.
 
Najczęściej powodem Slow Drain jest tak zwane Slow Drain Device, czyli pojedyncze urządzenie, które szybciej zużywa dostępne BC, niż jest je w stanie zapełniać. Do najczęstszych powodów powstawania Slow Drain należy m.in.:
  • problemy wydajnościowe serwera, aplikacji lub systemu operacyjnego,
  • niepoprawne wyłączenie czy nagłe zniknięcie maszyny wirtualnej,
  • problemy na poziomie karty lub sterownika HBA (Host Bus Adapter),
  • niezgodności prędkości, gdzie jedno z urządzeń lub połączeń jest szybsze od innego,
  • problemy z okablowaniem, przejściówkami lub modułami.
W trakcie Slow Drain dochodzi do wysycenia kolejno wszystkich buforów w kierunku Slow Drain Device, zaczynając od buforów wyjściowych portu do którego jest ono bezpośrednio podłączone (1), następnie buforów wejściowych wszystkich portów tego samego przełącznika (2), które kierują ruch do zablokowanego portu. To z kolei powoduje zapchanie buforów wyjściowych portów innych przełączników (3) i dalej buforów wejściowych ich portów (4), które odbierają ruch skierowany do Slow Drain Device. W ten sposób dochodzi do zapchania buforów całej fabryki i efektu Slow Drain, którym dotknięte zostają wszystkie urządzenia fabryki.
 

Cisco MDS potrafią wykryć Slow Drain w 2.5µs i automatycznie zneutralizować jego efekt w czasie poniżej 1 ms. Proces wykrywania Slow Drain realizowany jest w oparciu o wiele różnych metryk, powiązanych z dostępną ilością BC na każdym z portów czy różnymi czasami opóźnień czy oczekiwania.

Jedną z ciekawszych technik neutralizowania efektu Slow Drain w Cisco MDS, jest Congestion Isolation. Polega ona na podziale jednego połączenia na 4-wirtualne, VL0 (Control Traffic), VL1 (High Priority Traffic), VL2 (Slow Traffic) i VL3 (Normal Traffic). Każde z wirtualnych połączeń ma do dyspozycji swoją prywatną pulę BC, którą zarządza. W ten sposób Cisco MDS może tak wyizolować ruch powiązany z Slow Drain Device, by nie miał on wpływu na resztę urządzeń i ruchu wymienianego wewnątrz fabryki.
 

Kiedy negatywne efekty znikną i wszystko się unormuje, Cisco MDS potrafi przywrócić wyizolowane wcześniej przepływy Slow Drain Device. Realizowane jest to automatyczne, dzięki Congestion Isolation Recovery.
 
Cisco MDS wspierają także mechanizmy powiadomień i sygnalizacji przeciążeń do urządzeń końcowych. Aby było to możliwe, urządzenia końcowe fabryki muszą obsługiwać RDF (Register Diagnostic Functions) i EDC (Exchange Diagnostic Capabilities) do rejestracji i wymiany informacji o obsługiwanych funkcjach. Dzięki temu Cisco MDS może je powiadomić z użyciem FPIN (Fabric Performance Impact Notifications) o przeciążeniu.

Niestety, nie wszystkie urządzenia końcowe fabryki wspierają te rozszerzenia. Dlatego Cisco MDS opracowało DIRL (Dynamic Ingress Rate Limiting), który działa niezależnie od typu i możliwości urządzeń końcowych fabryki.
 
DIRL monitoruje interfejsy przełącznika i ruch wejściowy, w poszukiwaniu syndromów wskazujących na możliwość powstania przeciążeń. Jeżeli zostaną one znalezione, wykorzystuje mechanizm B2B Credits w celu spowolnienia takiej transmisji najbliżej źródła. Działanie DRIL zostało zobrazowane na wideo.
 
To oczywiście tylko kilka z technik neutralizacji Slow Drain. W przełączniki Cisco MDS wbudowane jest ich więcej. Ponadto, dostępne jest wiele poleceń diagnostycznych czy mechanizmów powiadomień i alertowania, które ułatwiają wykrycie takiego stanu. Dla tych, którzy chcą mieć wszystko to ładnie zwizualizowane oraz w przemyślany sposób zebrane z całej sieci i udostępnione polecamy wykorzystanie Cisco DCNM. 

Jesteśmy partnerem Cisco Systems i za naszym pośrednictwem można zakupić ich rozwiązania na polskim rynku. Zainteresowanych zapraszamy do This email address is being protected from spambots. You need JavaScript enabled to view it.. Z nami masz pewność, że wszystko pochodzi z oficjalnego kanału.

Przełączniki Cisco MDS obsługują również takie funkcjonalności, jak m.in. Zoning, Enhanced Zoning, Smart Zoning, Distributed Device Alias Service, VSAN, VSAN Trunking, IVR, FSFP, SAN Port Channel, Port Security, QoS (Flow-based i Zone-based), per VSAN RBAC (RADIUS i TACACS+), NTP, Syslog, SPAN, SSH czy SFTP.

Zoning służy do definiowania polityk wymiany ruchu w ramach fabryki. Ogranicza on informacje, jakie wysyłane są do inicjatorów o dostępnych targetach, a także pilnuje tego, aby nie nawiązały one połączeń do złych targetów. Zabezpiecza to przed nieuważnym podłączeniem inicjatora do złego miejsca czy wolumenu i tym sposobem potencjalnego uszkodzenia danych. Stosowane są dwa podejścia w konfiguracji zoningu:
  • jeden inicjator i jeden target,
  • jeden inicjator i wszystkie jego targety.
O ile drugi sposób znacząco poprawia czytelność konfiguracji, jest łatwiejszy w zarządzaniu i zużywa mniejszą ilość dostępnych stref (ang. zone) na przełączniku, których ilość jest ograniczona, to jest mniej optymalny dla jego wewnętrznych tablic TCAM. To, który ze sposobów wybierzemy będzie miało większe znaczenie przy dużych sieciach SAN. Najważniejsze w tym wszystkim jest to, by rozumieć cel stosowania zoningu i nie umieszczać wielu inicjatorów w ramach jednej strefy czy też nie dawać dostępu inicjatorom do targetów, z którymi nie muszą się komunikować.

Do podobnego celu stosowany jest LUN Masking, który bezpośrednio na poziomie pamięci masowej określa widoczne dla konkretnych inicjatorów wolumeny. Dla bezpieczeństwa i porządku powinno się stosować oba te mechanizmy.

Aby ułatwić konfigurację zoningu w dużych sieciach SAN, gdzie tworzenie stref jeden-do-jeden może być bardzo czasochłonne i podatne na błędy, przełączniki Cisco MDS udostępniają funkcjonalność Smart Zoning, która może być wykorzystywana równolegle z normalnym zoningiem w ramach jednego zbioru stref (ang. zoneset). Smart Zoning analizuje informacje zawarte w polu device-type z bazy danych na FCNS (Fibre Channel Name Server), identyfikując komunikujące się ze sobą pary initiator-target i tworząc stosowne wpisy w tablicach TCAM.

Dzięki VSAN (Virtual SAN) możemy w ramach jednej sieci fizycznej stworzyć wiele niezależnych logicznych sieci SAN, zapewniając w ten sposób pełną izolację ruchu, która potrzebna może być ze względu bezpieczeństwa, minimalizacji wpływów potencjalnych problemów i zmian w konfiguracji czy też różnego przeznaczenia VSAN.
 
Konfiguracja usług fabryki, jak m.in. zoning czy routing realizowana jest dla każdego z VSAN niezależnie. Do połączenia różnych domen administracyjnych czy sieci VSAN stosowany jest IVR (Inter-VSAN Routing).

Do routingu FCID (Fibre Channel Identifiers) pomiędzy przełącznikami FC wykorzystywany jest protokół FSPF (Fabric Shortest Path First), który wybiera trasy z użyciem algorytmu Dijkstry. Realizuje to w podobny sposób, jak w ramach jednego obszaru robi to protokół OSPF czy IS-IS. Dzięki FSPF pomiędzy przełącznikami FC można tworzyć redundantne połączenia czy nawet pętle. FSPF wspiera routing ECMP (Equal Cost Multi Path).

SAN PC (Port Channel) umożliwia agregację do 16 fizycznych interfejsów w jeden logiczny, o większej przepustowości. Rozkładem obciążenia na wszystkich interfejsach zajmuje się wybrany algorytm, który dynamicznie dostosowuje się do ilości działających w danej chwili interfejsów fizycznych. Awaria jednego z interfejsów fizycznych nie ma wpływu na całościowy stan operacyjnych interfejsu Port Channel, który pozostaje aktywny do momentu awarii lub wyłączenia ostatniego interfejsu składającego się na PC. Awaria pojedynczego interfejsu ma wypływ tylko na aktualną serializację pakietu w takim interfejsie fizycznym i sumaryczną prędkość wiązki PC.
 
Należy pamiętać o tym, że od Fibre Channel wymagane jest doręczanie ramek z zachowaniem kolejności ich wysłania, w ramach danej wymiany (ang. exchange) związanej z operacją I/O. W związku z tym, rozkład obciążenia w ramach wiązki PC w Cisco MDS zawsze realizowany jest zawsze per dana operacja I/O, a nie per ramka. Oznacza to, że zawsze wszystkie ramki w ramach danej wymiany I/O przesyłane są z użyciem tego samego interfejsu fizycznego wiązki. Gwarantuje to doręczanie ramek danych w tej samej kolejności, w jakiej zostały wysłane, co odciąża urządzenie odbierające od rekonstrukcji kolejności w sekwencji wymiany i poprawia wydajność I/O.
 
Warto zwrócić uwagę na to, że w Cisco MDS wiązka Port Channel może składać się z interfejsów należących do różnych grup portów czy nawet kart liniowych, co zwiększa niezawodność takiego połączenia. Nie jest ono całościowo zależne od awarii pojedynczego komponentu przełącznika.

Wykorzystanie PC jest szczególnie zalecane w przypadku połączeń do urządzeń pracujących w trybie NPV. W ten sposób awaria pojedynczego interfejsu fizycznego pomiędzy urządzeniem NPV i urządzeniem obsługującym tryb NPIV nie wymusza ponownego logowania się do fabryki części interfejsów HBA urządzeń końcowych, które zalogowane były za interfejsem, jaki uległ awarii. Podobnie, kiedy interfejs taki powróci do działania. Port Channel może go od razu wykorzystać do przekazywania ruchu, co nie byłoby możliwe od tak w normalnym trybie pracy interfejsu, gdyż do fabryki nie byłby zalogowany przez niego żaden interfejs HBA.

Nie są to wszystkie dostępne na tych platformach funkcjonalności czy obsługiwane technologie i protokoły. Wybraliśmy tylko kilka z nich, które według nas warte były uwagi. Po więcej odsyłamy do strony producenta.

Na końcu warto dodać, że o ile Cisco MDS może obsługiwać rozwiązania serwerowe różnych producentów i też serwery Cisco UCS (Unified Computing System) mogą działać z przełącznikami różnych producentów, to najwięcej zyskamy, kiedy połączymy Cisco MDS i Cisco UCS razem.

Zyskamy wtedy łatwiejsze i spójniejsze zarządzanie, lepsze wykorzystanie dostępnej przepustowości, lepszą odporność na awarie, szybsze reakcje na awarie, bardziej efektywny powrót do działania po awarii, lepszą widoczność End-to-End oraz obsługa End-to-End VSAN czy pełne multitenancy infrastruktury.
 
Dlatego o ile pamięć masowa może być dowolnego producenta, to bardzo zalecamy oparcie reszty komponentów na rozwiązaniach Cisco Nexus, Cisco MDS i Cisco UCS. Nie jest to wymagane, niemniej szkoda nie móc skorzystać z wielu dodatkowych zalet takiego podejścia.

Więcej o tym co można zyskać, łącząc Cisco MDS i Cisco UCS zostało pokazane na nagraniu wideo.

Na rynku jest zbyt dużo sprzętu z szarego kanału, stąd koniecznie sprawdzaj, czy firma sprzedająca produkty Cisco Systems jest na 100% jej partnerem handlowym. Sprawdzić można to w Cisco Partner Locator, gdzie też jesteśmy.

Zapraszamy do kontaktu drogą mailową This email address is being protected from spambots. You need JavaScript enabled to view it. lub telefonicznie +48 797 004 932