Cisco MDS 9220i Fabric Extension
 

Cisco MDS 9220i to wieloprotokołowy przełącznik, który najczęściej stosowany jest jako rozszerzenie dla sieci SAN. Potrafi obsługiwać FC (Fibre Channel), FCoE (Fibre Channel over Ethernet), FCIP (Fibre Channel over IP), IBM FICON (Fibre Connection) i iSCSI (Internet SCSI/SCSI over IP). Urządzenia te mogą pracować zarówno w trybie normalnego przełącznika FC, jak i w trybie NPV (Network Port Virtualization). W trybie przełącznika potrafią obsługiwać NPIV (Network Port Identifier Virtualization).



Przełącznik Cisco MDS 9220i nadaje się do bardzo różnych zastosowań i potrafi połączyć ze sobą sieci SAN oparte na różnych protokołach. Dzięki obsłudze FCIP ułatwia realizację scenariuszy DR (Disaster Recovery), obsługi kopii zapasowej czy replikacji. Aby można było realizować to wydajnie i bezpiecznie, w ramach połączeń FCIP wspierane jest także sprzętowe szyfrowanie z IPsec (IKEv1/IKEv2) oraz kompresję i akcelerację operacji odczytu i zapisu.

FICON stosowany jest przy komunikacji serwerów firmy IBM typu mainframe, jak IBM Z czy IBM LinuxONE z różnymi urządzeniami peryferyjnymi, jak urządzenia taśmowe czy dyskowe. FICON wyparł połączenia ESCON (Enterprise Systems Connection), które wcześniej wyparły stosowane w tych serwerach interfejsy Bus and Tag.

Z użyciem FICON, serwery te wymieniają z pamięcią masową operacje I/O czy bardziej tak zwane CCW (Channel Command Word) lub TCW (Transport Command Word). CCW są pojedynczymi poleceniami, podczas gdy TCW przenoszą wiele poleceń i danych. TCW obsługiwane są przy aktywnym zHPF (High Performance FICON), który poprawia znacząco wydajność całej komunikacji i sumaryczną ilość obsługiwanych operacji I/O.

FICON przenoszony jest z użyciem FC i obsługuje typowe dla FC połączenia typu point-to-point (N_Port-to-N_Port) i typu switched (N_Port-to-F_Port). FICON może być też obsługiwany w ramach połączeń FCIP (FICON over FCIP), gdzie Cisco MDS 9220i dodatkowo potrafią zapewnić akcelerację zapisów i odczytów dla napędów taśmowych.

Cisco MDS 9220i posiadają wbudowany port IBM CUP (Control Unit Port), który umożliwia zarządzanie, diagnozę i obsługę błędów in-band dla pewnych elementów fabryki z poziomu systemu IBM z/OS, serwera typu mainframe firmy IBM. CUP nie jest fizycznym interfejsem na przełączniku. Jest to wbudowany wewnętrz przełącznika port, do którego poprzez FICON kierowane są polecenia CCW/TCW zaadresowane na zarezerwowany adres portu 0xFE.

VSAN należący do FICON może być obsługiwany z poziomu CLI urządzenia Cisco MDS 9220i, systemu zarządzania Cisco DCNM (Data Center Network Manager) lub systemu zarządzania firmy IBM, który obsługuje interfejs IBM CUP. Do ciekawszych funkcji tego interfejsu należy m.in. obsługa SA/390, Resource Measurement Facility (RMF) i Dynamic Channel Path Management (DCM). Cisco MDS 9220i obsługuje także tryb NPIV w stronę systemów GNU/Linux działających wewnątrz hiperwisora IBM z/VM (Virtual Machine), co zapewnia lepszą separację oraz zwiększa elastyczność w sposobie definiowania i różnicowania dostępów do pamięci masowej (Zoning/LUN Masking).


Jesteśmy partnerem Cisco Systems i za naszym pośrednictwem można zakupić ich rozwiązania na polskim rynku. Zainteresowanych zapraszamy do This email address is being protected from spambots. You need JavaScript enabled to view it.. Z nami masz pewność, że wszystko pochodzi z oficjalnego kanału.

Cisco MDS 9220i są w stanie przenosić za pomocą protokołu FC dane i polecenia protokołu SCSI (Small Computer System Interface) i NVMe (Non-Volatile Memory Express) i CCW/FICON, stąd obsługują zarówno od dawna wykorzystywane SCSI-FCP (SCSI Fibre Channel Protocol) i FICON, jak i nowe FC-NVMe.



FC-NVMe to NVMe-oF (NVMe over Fabric), gdzie w tym przypadku fabryką jest sieć oparta na protokole Fibre Channel over Fibre Channel lub Fibre Channel over Ethernet.

Udostępniają one fabrykę mogącą równolegle obsługiwać FC, FCoE, FCIP i FICON. Zatem obsługuje ona inicjatory (ang. initiator) i targety (ang. target) z obsługą protokołu SCSI lub NVMe oraz SCSI i NVMe, a także FICON.



Obsługa protokołu FC i FICON w ramach jednej fabryki znana jest też pod nazwą Protocol Intermix Mode (PIM). Aby tego było, Cisco MDS 9220i obsługuje połączenia Ethernet dla iSCSI i FCIP, CEE (Converged Enhanced Ethernet) dla FCoE oraz oczywiście FC (Fibre Channel). CEE i FC może przenosić zarówno SCSI-FCP, jak i FC-NVMe.


Oprócz różnych danych statystycznych, Cisco MDS udostępniają też generatory ruchu i narzędzia diagnostyczne, za pomocą których można dokonać weryfikacji jakości połączeń. Narzędzia te umożliwiają wykonywanie testów w ramach tego samego połączenia (ang. single-hop), jak i do oddalonych w sieci SAN miejsc (ang. multi-hop).

Za ich sprawą można też m.in. sprawdzić długość okablowania czy opóźnienia występujące wewnątrz przełącznika i na kablu. Dostępne są też takie narzędzia, jak Fibre Channel Ping czy Fibre Channel Traceroute.

Jesteśmy partnerem Cisco Systems i za naszym pośrednictwem można zakupić ich rozwiązania na polskim rynku. Zainteresowanych zapraszamy do This email address is being protected from spambots. You need JavaScript enabled to view it.. Z nami masz pewność, że wszystko pochodzi z oficjalnego kanału.

Przełączniki Cisco MDS 9220i posiadają porty 4/8/16/32G FC oraz porty 1/10GbE, 10/25GbE i 40GbE. Dostępne w nim porty można dynamicznie aktywować, w modelu pay-as-you-grow:
  • 4x FC i 2x 1/10GbE -> 12x FC i 3x 1/10GbE, 1x 1/10/25GbE, 1x 25GbE i 1x 40GbE.

Do zarządzania out-of-band Cisco MDS 9220i posiada port 10/100BASE-T Ethernet.


Posiadają redundantne zasilacze i moduły wentylatorów, które można wymienić w trakcie pracy urządzenia (ang. hot swappable). W zależności od potrzeby, moduły wentylatorów mogą posiadać wylot (niebieskie) lub wlot (czerwone) powietrza od strony portów. Oprócz tego, każdy kluczowy komponent urządzenia posiada odpowiednie diody sygnalizujące jego stan i sprawność.

Dzięki CFS (Cisco Fabric Services) możliwa jest automatyczna synchronizacja konfiguracji poszczególnych usług w ramach całej fabryki, składającej się z wielu niezależnych przełączników Cisco MDS. Realizowane jest to bez żadnych dodatkowych zewnętrznych systemów zarządzania. Wystarczy zmodyfikować zoning czy konfigurację innych usług fabryki na jednym z przełączników, a pojawi się ona na pozostałych w ramach danego regionu CFS.
 
 
Do obsługi Cisco MDS można wykorzystać CLI lub system Cisco DCNM (Data Center Network Manager). Obsługują one też SNMP i posiadają otwarte API, do którego można uzyskać dostęp za pomocą HTTP/HTTPS, stąd można je łatwo podpiąć także do własnego systemu zarządzania. Przełączniki Cisco MDS mogą być również automatyzowane z wykorzystaniem Red Hat Ansible Automation Platform.

Jesteśmy partnerem Cisco Systems i za naszym pośrednictwem można zakupić ich rozwiązania na polskim rynku. Zainteresowanych zapraszamy do This email address is being protected from spambots. You need JavaScript enabled to view it.. Z nami masz pewność, że wszystko pochodzi z oficjalnego kanału.

Fibre Channel na poziomie FC-2 realizuje transmisję bezpołączeniową i bez potwierdzeń, ale z użyciem B2B Credits (Buffer-to-Buffer Credits). Za niezawodność, w tym wykrycie przekroczenia czasu oczekiwania, ponowienie transmisji czy potwierdzenia odpowiadają przenoszone w FC protokoły wyższe, jak SCSI, NVMe czy FICON.
 
B2B Credits stosowane są do kontroli przepływów (ang. Flow Control), na każdym połączeniu fabryki FC. Z każdą wysłaną ramką danych FC zużywany jest jeden kredyt na porcie odbierającym. Kiedy odbierający port przekaże ramkę dalej, informuje stronę od której ją otrzymał o przywróceniu kredytu za pomocą ramki ze statusem R_RDY. Dzięki B2B i R_RDY szybkość transmisji dostosowywana jest do możliwości odbiorczych konkretnych portów.
 
O ile B2B i R_RDY starają się zapewnić bezstratną transmisję, to w praktyce zawsze może dojść do uszkodzenia bitów ramki czy całkowitego jej zgubienia na skutek awarii, któregoś z połączeń czy przełączników fabryki.

W przełącznikach Cisco MDS 9220i domyślna ilość BC (Buffer Credits) na każdym z portów wynosi 500. Dodatkowo, dla pojedynczego portu można ustawić do 8170 BC, co umożliwia wymianę danych pomiędzy dwoma przełącznikami FC z prędkością 32G na odległości do około 500km.
 
Dzięki obsłudze FC-SP (Fibre Channel Security Protocols) oraz Cisco TrustSec Fibre Channel i co za tym idzie obsłudze szyfrowania switch-to-switch oraz uwierzytelnienia switch-to-switch i host-to-switch, wymiana danych w ramach takich połączeń może odbywać się z zachowaniem należytego poziomu bezpieczeństwa i poufności.

Należy pamiętać, że kiedy dojdzie od uszkodzenia lub zgubienia ramki FC, to wymagana jest retransmisja całej sekwencji ramek, związanej z danym zapytaniem, którą musi wymusić protokół przenoszony w FC. Dla przykładu, jeżeli była to ramka z danymi protokołu SCSI, to retransmisja takiej sekwencji ramek, czy bardziej ponowienie IO odbędzie się po przekroczeniu czasu oczekiwania, który zwykle domyślnie dla SCSI wynosi od 30 do 60 sekund.

Aby zminimalizować ten efekt, na portach 16G i szybszych wymagana jest obsługa FEC (Forward Error Correction). FEC pozwala na korekcję uszkodzonych w trakcie transmisji bitów, dzięki czemu zapobiega odrzucaniu takich uszkodzonych ramek. Należy jednak pamiętać, iż FEC obsługiwany jest na połączeniach ISL (Inter Switch Link), pomiędzy przełącznikami FC oraz połączeniami do HBA (Host Bus Adapter) macierzy czy serwerów, jeżeli ich HBA obsługuje tą funkcjonalność. FEC potrafi naprawić do 11 z 2112 bitów danych ramki FC.
 
FEC nie pomoże, jeżeli ramka zostanie uszkodzona w trakcie transmisji pomiędzy przełącznikiem FC, a urządzeniem końcowym z kartą HBA, która nie obsługuje FEC. W takim przypadku zostanie ona odrzucona na wejściu podczas weryfikacji sumy kontrolnej CRC (Cyclic Redundancy Check).

Pojedyncze urządzenie jest w stanie spowolnić czy nawet zatrzymać na pewien czas działanie całej fabryki, w tym jej wszystkich połączeń czy przyłączonych do niej urządzeń. Określane jest to stanem Slow Drain, w którym sieć SAN spowalnia czy nawet chwilowo przestaje odpowiadać.
 
Najczęściej powodem Slow Drain jest tak zwane Slow Drain Device, czyli pojedyncze urządzenie, które szybciej zużywa dostępne BC, niż jest je w stanie zapełniać. Do najczęstszych powodów powstawania Slow Drain należy m.in.:
  • problemy wydajnościowe serwera, aplikacji lub systemu operacyjnego,
  • niepoprawne wyłączenie czy nagłe zniknięcie maszyny wirtualnej,
  • problemy na poziomie karty lub sterownika HBA (Host Bus Adapter),
  • niezgodności prędkości, gdzie jedno z urządzeń lub połączeń jest szybsze od innego,
  • problemy z okablowaniem, przejściówkami lub modułami.
W trakcie Slow Drain dochodzi do wysycenia kolejno wszystkich buforów w kierunku Slow Drain Device, zaczynając od buforów wyjściowych portu do którego jest ono bezpośrednio podłączone (1), następnie buforów wejściowych wszystkich portów tego samego przełącznika (2), które kierują ruch do zablokowanego portu. To z kolei powoduje zapchanie buforów wyjściowych portów innych przełączników (3) i dalej buforów wejściowych ich portów (4), które odbierają ruch skierowany do Slow Drain Device. W ten sposób dochodzi do zapchania buforów całej fabryki i efektu Slow Drain, którym dotknięte zostają wszystkie urządzenia fabryki.
 

Cisco MDS potrafią wykryć Slow Drain w 2.5µs i automatycznie zneutralizować jego efekt w czasie poniżej 1 ms. Proces wykrywania Slow Drain realizowany jest w oparciu o wiele różnych metryk, powiązanych z dostępną ilością BC na każdym z portów czy różnymi czasami opóźnień czy oczekiwania.

Jedną z ciekawszych technik neutralizowania efektu Slow Drain w Cisco MDS, jest Congestion Isolation. Polega ona na podziale jednego połączenia na 4-wirtualne, VL0 (Control Traffic), VL1 (High Priority Traffic), VL2 (Slow Traffic) i VL3 (Normal Traffic). Każde z wirtualnych połączeń ma do dyspozycji swoją prywatną pulę BC, którą zarządza. W ten sposób Cisco MDS może tak wyizolować ruch powiązany z Slow Drain Device, by nie miał on wpływu na resztę urządzeń i ruchu wymienianego wewnątrz fabryki.
 

Kiedy negatywne efekty znikną i wszystko się unormuje, Cisco MDS potrafi przywrócić wyizolowane wcześniej przepływy Slow Drain Device. Realizowane jest to automatyczne, dzięki Congestion Isolation Recovery.
 
Cisco MDS wspierają także mechanizmy powiadomień i sygnalizacji przeciążeń do urządzeń końcowych. Aby było to możliwe, urządzenia końcowe fabryki muszą obsługiwać RDF (Register Diagnostic Functions) i EDC (Exchange Diagnostic Capabilities) do rejestracji i wymiany informacji o obsługiwanych funkcjach. Dzięki temu Cisco MDS może je powiadomić z użyciem FPIN (Fabric Performance Impact Notifications) o przeciążeniu.

Niestety, nie wszystkie urządzenia końcowe fabryki wspierają te rozszerzenia. Dlatego Cisco MDS opracowało DIRL (Dynamic Ingress Rate Limiting), który działa niezależnie od typu i możliwości urządzeń końcowych fabryki.
 
DIRL monitoruje interfejsy przełącznika i ruch wejściowy, w poszukiwaniu syndromów wskazujących na możliwość powstania przeciążeń. Jeżeli zostaną one znalezione, wykorzystuje mechanizm B2B Credits w celu spowolnienia takiej transmisji najbliżej źródła. Działanie DRIL zostało zobrazowane na wideo.
 
To oczywiście tylko kilka z technik neutralizacji Slow Drain. W przełączniki Cisco MDS wbudowane jest ich więcej. Ponadto, dostępne jest wiele poleceń diagnostycznych czy mechanizmów powiadomień i alertowania, które ułatwiają wykrycie takiego stanu. Dla tych, którzy chcą mieć wszystko to ładnie zwizualizowane oraz w przemyślany sposób zebrane z całej sieci i udostępnione polecamy wykorzystanie Cisco DCNM. 

Jesteśmy partnerem Cisco Systems i za naszym pośrednictwem można zakupić ich rozwiązania na polskim rynku. Zainteresowanych zapraszamy do This email address is being protected from spambots. You need JavaScript enabled to view it.. Z nami masz pewność, że wszystko pochodzi z oficjalnego kanału.

Przełączniki Cisco MDS obsługują również takie funkcjonalności, jak m.in. Zoning, Enhanced Zoning, Smart Zoning, Distributed Device Alias Service, VSAN, VSAN Trunking, IVR, FSFP, SAN Port Channel, Port Security, QoS (Flow-based i Zone-based), per VSAN RBAC (RADIUS i TACACS+), NTP, Syslog, SPAN, SSH czy SFTP.

Zoning służy do definiowania polityk wymiany ruchu w ramach fabryki. Ogranicza on informacje, jakie wysyłane są do inicjatorów o dostępnych targetach, a także pilnuje tego, aby nie nawiązały one połączeń do złych targetów. Zabezpiecza to przed nieuważnym podłączeniem inicjatora do złego miejsca czy wolumenu i tym sposobem potencjalnego uszkodzenia danych. Stosowane są dwa podejścia w konfiguracji zoningu:
  • jeden inicjator i jeden target,
  • jeden inicjator i wszystkie jego targety.
O ile drugi sposób znacząco poprawia czytelność konfiguracji, jest łatwiejszy w zarządzaniu i zużywa mniejszą ilość dostępnych stref (ang. zone) na przełączniku, których ilość jest ograniczona, to jest mniej optymalny dla jego wewnętrznych tablic TCAM. To, który ze sposobów wybierzemy będzie miało większe znaczenie przy dużych sieciach SAN. Najważniejsze w tym wszystkim jest to, by rozumieć cel stosowania zoningu i nie umieszczać wielu inicjatorów w ramach jednej strefy czy też nie dawać dostępu inicjatorom do targetów, z którymi nie muszą się komunikować.

Do podobnego celu stosowany jest LUN Masking, który bezpośrednio na poziomie pamięci masowej określa widoczne dla konkretnych inicjatorów wolumeny. Dla bezpieczeństwa i porządku powinno się stosować oba te mechanizmy.

Aby ułatwić konfigurację zoningu w dużych sieciach SAN, gdzie tworzenie stref jeden-do-jeden może być bardzo czasochłonne i podatne na błędy, przełączniki Cisco MDS udostępniają funkcjonalność Smart Zoning, która może być wykorzystywana równolegle z normalnym zoningiem w ramach jednego zbioru stref (ang. zoneset). Smart Zoning analizuje informacje zawarte w polu device-type z bazy danych na FCNS (Fibre Channel Name Server), identyfikując komunikujące się ze sobą pary initiator-target i tworząc stosowne wpisy w tablicach TCAM.

Dzięki VSAN (Virtual SAN) możemy w ramach jednej sieci fizycznej stworzyć wiele niezależnych logicznych sieci SAN, zapewniając w ten sposób pełną izolację ruchu, która potrzebna może być ze względu bezpieczeństwa, minimalizacji wpływów potencjalnych problemów i zmian w konfiguracji czy też różnego przeznaczenia VSAN.
 
Konfiguracja usług fabryki, jak m.in. zoning czy routing realizowana jest dla każdego z VSAN niezależnie. Do połączenia różnych domen administracyjnych czy sieci VSAN stosowany jest IVR (Inter-VSAN Routing).

Do routingu FCID (Fibre Channel Identifiers) pomiędzy przełącznikami FC wykorzystywany jest protokół FSPF (Fabric Shortest Path First), który wybiera trasy z użyciem algorytmu Dijkstry. Realizuje to w podobny sposób, jak w ramach jednego obszaru robi to protokół OSPF czy IS-IS. Dzięki FSPF pomiędzy przełącznikami FC można tworzyć redundantne połączenia czy nawet pętle. FSPF wspiera routing ECMP (Equal Cost Multi Path).

SAN PC (Port Channel) umożliwia agregację do 16 fizycznych interfejsów w jeden logiczny, o większej przepustowości. Rozkładem obciążenia na wszystkich interfejsach zajmuje się wybrany algorytm, który dynamicznie dostosowuje się do ilości działających w danej chwili interfejsów fizycznych. Awaria jednego z interfejsów fizycznych nie ma wpływu na całościowy stan operacyjnych interfejsu Port Channel, który pozostaje aktywny do momentu awarii lub wyłączenia ostatniego interfejsu składającego się na PC. Awaria pojedynczego interfejsu ma wypływ tylko na aktualną serializację pakietu w takim interfejsie fizycznym i sumaryczną prędkość wiązki PC.
 
Należy pamiętać o tym, że od Fibre Channel wymagane jest doręczanie ramek z zachowaniem kolejności ich wysłania, w ramach danej wymiany (ang. exchange) związanej z operacją I/O. W związku z tym, rozkład obciążenia w ramach wiązki PC w Cisco MDS zawsze realizowany jest zawsze per dana operacja I/O, a nie per ramka. Oznacza to, że zawsze wszystkie ramki w ramach danej wymiany I/O przesyłane są z użyciem tego samego interfejsu fizycznego wiązki. Gwarantuje to doręczanie ramek danych w tej samej kolejności, w jakiej zostały wysłane, co odciąża urządzenie odbierające od rekonstrukcji kolejności w sekwencji wymiany i poprawia wydajność I/O.
 
Warto zwrócić uwagę na to, że w Cisco MDS wiązka Port Channel może składać się z interfejsów należących do różnych grup portów czy nawet kart liniowych, co zwiększa niezawodność takiego połączenia. Nie jest ono całościowo zależne od awarii pojedynczego komponentu przełącznika.

Wykorzystanie PC jest szczególnie zalecane w przypadku połączeń do urządzeń pracujących w trybie NPV. W ten sposób awaria pojedynczego interfejsu fizycznego pomiędzy urządzeniem NPV i urządzeniem obsługującym tryb NPIV nie wymusza ponownego logowania się do fabryki części interfejsów HBA urządzeń końcowych, które zalogowane były za interfejsem, jaki uległ awarii. Podobnie, kiedy interfejs taki powróci do działania. Port Channel może go od razu wykorzystać do przekazywania ruchu, co nie byłoby możliwe od tak w normalnym trybie pracy interfejsu, gdyż do fabryki nie byłby zalogowany przez niego żaden interfejs HBA.

Nie są to wszystkie dostępne na tych platformach funkcjonalności czy obsługiwane technologie i protokoły. Wybraliśmy tylko kilka z nich, które według nas warte były uwagi. Po więcej odsyłamy do strony producenta.

Na końcu warto dodać, że o ile Cisco MDS może obsługiwać rozwiązania serwerowe różnych producentów i też serwery Cisco UCS (Unified Computing System) mogą działać z przełącznikami różnych producentów, to najwięcej zyskamy, kiedy połączymy Cisco MDS i Cisco UCS razem.
 
Zyskamy wtedy łatwiejsze i spójniejsze zarządzanie, lepsze wykorzystanie dostępnej przepustowości, lepszą odporność na awarie, szybsze reakcje na awarie, bardziej efektywny powrót do działania po awarii, lepszą widoczność End-to-End oraz obsługa End-to-End VSAN czy pełne multitenancy infrastruktury.
 
Dlatego o ile pamięć masowa może być dowolnego producenta, to bardzo zalecamy oparcie reszty komponentów na rozwiązaniach Cisco Nexus, Cisco MDS i Cisco UCS. Nie jest to wymagane, niemniej szkoda nie móc skorzystać z wielu dodatkowych zalet takiego podejścia.

Więcej o tym co można zyskać, łącząc Cisco MDS i Cisco UCS zostało pokazane na nagraniu wideo.

Na rynku jest zbyt dużo sprzętu z szarego kanału, stąd koniecznie sprawdzaj, czy firma sprzedająca produkty Cisco Systems jest na 100% jej partnerem handlowym. Sprawdzić można to w Cisco Partner Locator, gdzie też jesteśmy.

Zapraszamy do kontaktu drogą mailową This email address is being protected from spambots. You need JavaScript enabled to view it. lub telefonicznie +48 797 004 932