Fibre Channel over Ethernet i Unified Fabric
FCoE (Fibre Channel over Ethernet) umożliwia przenoszenie ramek Fibre Channel (FC) poprzez sieć Ethernet. W ten sposób daje możliwość wymiany ruchu LAN i SAN w ramach jednej konwergentnej sieci, określanej jako Unified Fabric.
Komitet T11, będący częścią INCITS (InterNational Committee for Information Technology Standard) opisał w ramach FC-BB-5 transmisję ramek FC z użyciem innych technologii, do których należy m.in. Ethernet. Dodatkowo, w późniejszym czasie powstało kilka rozszerzeń i usprawnień dla FCoE, których rozwojem zajmuje się grupa robocza IEEE 802.1.
Technologia Fibre Channel posiada swój własny model warstwowy, który składa się z 5 warstw, od FC-0 do FC-4. Nie jest on zgodny z 7 warstwowym modelem OSI/ISO, z którego korzysta technologia Ethernet.
FC-0 definiuje interfejs fizyczny, złącza i okablowanie oraz ich parametry, a FC-1 kodowanie nadmiarowe 8b/10b, 64b/66b lub 256b/257b. Obsługa sygnalizacji, ramek, błędów, B2B Credits, R_RDY czy klas usługowych (ang. Service Classes) realizowana jest na poziomie warstwy FC-2. Niemniej, część z tych funkcjonalności musiała zostać zastąpiona, a część pozostać bez zmian. Stąd warstwa FC-2 została podzielona na 3 podwarstwy:
- FC-2V (Virtual) - niezbędne środowisko do przenoszenia różnych protokołów.
- FC-2M (Multiplexer) - adresowanie i funkcje routingu ramek.
- FC-2P (Physical) - wysyłanie i odbieranie ramek oraz obsługa B2B Credits.
Specyfikacja FCoE zastępuje technologią Ethernet całą warstwę FC-0 i FC-1 oraz podwarstwy FC-2P i FC-2M, umożliwiając przenoszenie z użyciem technologii Ethernet wszystkiego od podwarstwy FC-2V w górę. W ten sposób zachowane zostały specyficzne dla technologii Fibre Channel funkcjonalności, których nie jest w stanie realizować Ethernet.
Jednym z powodów powstania FCoE, była chęć transmisji ramek FC z większą prędkością. Technologia Ethernet tak szybko się rozwija, że już dziś mamy 10GbE, 25GbE, 40GbE, 50GbE, 100GbE, 200GbE, 400GbE, a nawet 800GbE.
W przypadku FC powszechne jest 32G, a często w nowych wdrożeniach stosuje się już 64G. Niebawem też pojawi się 128G.
Warto też pamiętać, że 1G od technologii Ethernet to więcej niż 1G od technologii Fibre Channel. Wynika to z tego, że podawana w Ethernet prędkość, to prędkość niezależna od kodowania nadmiarowego, podczas gdy Fibre Channel podaje prędkość, która musi jeszcze uwzględnić kodowanie nadmiarowe, dokładające dodatkowe bity.
W wielu przypadkach zastosowanie Unified Fabric dla ruchu LAN i SAN będzie o wiele bardziej ekonomiczne pod względem zagospodarowania przestrzeni, obsługi i utrzymania oraz finansowym, niż budowanie niezależnej sieci SAN, składającej się z niezależnych przełączników, interfejsów oraz dodatkowego okablowania. A mniej kabli, to też większa przejrzystość i łatwość chłodzenia. Unified Fabric to również możliwość kreowania wielu kart vHBA i vNIC w ramach jednej karty sieciowej, co dodatkowo przyczynia się do znacznego zmniejszenia ilości fizycznych kart sieciowych w serwerach i wymaganych portów na przełącznikach. W ten sposób na tym samym połączeniu fizycznym możemy zapewnić odpowiednią izolację ruchu wielu wirutalnych kart i poziomu jakości jego obsługi. Mniejsza ilość portów na przełącznikach, to też mniejsza ilość przełączników i modułów oraz mniejsze zużycie energii. Unified Fabric to zwykle też mniej kart w serwerach, co sprawia, że można wybrać serwery 1U, zamiast 2U.
Są to tylko niektóre z powodów, dla których platforma Cisco UCS jest tak często wybierana do centrów danych.
Jesteśmy partnerem firm IBM i Cisco Systems. Za naszym pośrednictwem można zakupić ich rozwiązania na polskim rynku. Zainteresowanych zapraszamy do
Typowy ruch Ethernet przesyłany jest bez żadnej gwarancji jego doręczenie (ang. best effort). Przełączniki starają się dostarczyć ruch do adresata, niemniej jeżeli w jakimś miejscu sieci dojdzie do przeciążenia, nadmiarowy ruch może ulec opóźnieniu, a nawet odrzuceniu. W takich przypadkach, o jego ponowną retransmisję czy zapewnienie gwarancji doręczenia muszą zadbać protokoły warstwy wyższych, jak m.in. TCP (Transmission Control Protocol) czy SCTP (Stream Control Transmission Protocol).
Fibre Channel stara się realizować bezstratną transmisję (ang. lossless) przy pomocy mechanizmu B2B Credits (Buffer-to-Buffer Credits). Technologie Ethernet i FCoE (Fibre Channel over Ethernet) nie wykorzystują B2B Credits.
W technologii Ethernet istnieje mechanizm realizujący podobne funkcje do B2B Credits.
Został on opisany w dokumencie IEEE 802.3x LLFC (Link-Level Flow Control) i umożliwia przeciążonemu odbiorcy zasygnalizowanie drugiej stronie, by ta wstrzymała na krótki czas transmisję. Realizowane jest to za pomocą specjalnej ramki PAUSE. W tradycyjnym standardzie Ethernet, taka ramka PAUSE ma wpływ na cały ruch. Stąd zastosowanie IEEE 802.3x LLFC do budowy FCoE byłoby możliwe tylko tam, gdzie na połączeniach obsługiwany byłby tylko ruch powiązany z siecią SAN.
Na szczęście, grupa robocza IEEE 802.1 opracowała zestaw rozszerzeń dla technologii Ethernet, za sprawą których możliwa jest obsługa ruchu LAN i SAN w ramach tych samych połączeń. Umożliwia to budowę tak zwanej Unified Fabric.
Rozszerzenie te dostępne są pod wspólną nazwą DCB (Data Center Bridging). W ich skład wchodzi:
- IEEE 802.1Qbb PFC (Priority-based Flow Control)
- IEEE 802.1Qaz ETS (Enhanced Transmission Selection)
- IEEE 802.1Qaz DCBX (Data Center Bridging Capability eXchange)
- IEEE 802.1Qau CN (Congestion Notification)
Ramki przenoszące FCoE w przełącznikach z obsługą DCB wykorzystują enkapsulację IEEE 802.1Q.
PFC (Priority-based Flow Control) opisane w IEEE 802.1Qbb rozszerza wykorzystanie ramek PAUSE o możliwość ich generowania per zdefiniowana klasa ruchu. W ten sposób mają one wpływ tylko na wybrane klasy ruchu, jak dla przykładu ruch FCoE, który powinien być obsługiwany w sieci bezstratnie (ang. lossless).
Klasy ruchu obsługujące normalny ruch Ethernet, mogą być obsługiwane bez mechanizmu PFC PAUSE. Ramka PFC PAUSE zawiera informacje wskazujące dla której klasy ruchu i na jaki czas powinna zostać wstrzymana transmisja. Każda z klas ruchu wykorzystuje inną wartość pola IEEE 802.1p CoS (Class of Service) nagłówka IEEE 802.1Q.
Kiedy bufory portu odbiorcy docierają do zdefiniowanego progu przeciążenia, port zaczyna generować PFC PAUSE w stronę portu przełącznika, który generuje w jego stronę ruch. Po odebraniu takiej ramki, przełącznik wstrzymuje ruch na porcie powiązany ze wskazaną w PFC PAUSE klasą ruchu. W ten sposób PFC jest w stanie zapewnić ochronę przed odrzucaniem ramek FCoE w przeciążonej sieci, co daje możliwość budowy konwergentnej sieci z obsługą LAN i SAN na tych samych połączeniach.
W ramach pola CoS (Class of Service) opisanego w ramach IEEE 802.1p mamy do dyspozycji 3 bity, które umożliwiają zdefiniowanie do 8 klas ruchu. Każda z takich klas ruchu może być obsługiwana w inny sposób, włączając w to wspomniane wcześniej PFC PAUSE, priorytet obsługi, przydział buforów czy limity pasma. Pole CoS jest powiązane z mechanizmami QoS (Quality of Service).
ETS (Enhanced Transmission Selection) opisane w IEEE 802.1Qaz rozszerza technologię Ethernet o mechanizmy umożliwiające bezpieczne współdzielenie pasma pomiędzy ruchem LAN i SAN, definiując 3 sposoby obsługi ruchu:
- Strict Priority - dla ruchu, który wymaga priorytetowej obsługi, jak wymiana z niskimi opóźnieniami komunikatów IPC (Inter-Process Communication), czy ruchu głosowego VoIP (Voice over IP).
- Credit-based Shaping - dla ruchu związane z AVB (Audio Video Bridging) oraz transmisją głosu i obrazu na żywo z niskimi opóźnieniami (IEEE 802.1Qav), która wymaga rezerwacji pasma pomiędzy nadawcą, a odbiorcą.
- Enhanced Transmission Selection - dla ruchu z obsługą dynamicznej alokacji pasma, do którego należy ruch wymagający bezstratnej transmisji, jak FCoE i iSCSI, oraz tradycyjny ruch o różnym priorytecie.
Kolejki z obsługą ETS obsługiwane są po kolejkach z obsługą Strict Priority i Credit-based Shaping.
Klasy ruchu (ang. Traffic Classes) w ETS tworzone są na podstawie wartości pola CoS. Do jednej klasy ruchu ETS może należeć więcej niż jedna wartość CoS. W ten sposób możemy utworzy do 8 wirtualnych połączeń w ramach 1 fizycznego. W praktyce będzie ich mniej, jako że ruch wymagający takiej samej obsługi trafia do jednej klasy ETS.
ETS umożliwia optymalne zarządzanie dostępem do pasma zarówno pomiędzy różnymi wartościami CoS wewnątrz danej klasy ruchu, jak i pomiędzy różnymi klasami ruchu. Gwarantuje dostępu do minimalnego pasma danej klasy ruchu, jak i możliwość wykorzystania większej ilości pasma, jeżeli tylko w danej chwili jest ono dostępne.
Za sprawą rozszerzeń ETS i PFC mamy możliwość niezależnego wstrzymania ruchu w ramach wybranych klas ruchu, jak i możliwość określenia dla nich rozsądnych ograniczeń pasma.
Niestety, to nie zawsze wystarcza. W przypadku małych sieci SAN, gdzie wszystkie urządzenia końcowe w ramach danej SAN Fabric są wpięte do pojedynczego przełącznika, PFC wystarczy do obsługi przeciążeń dla ruchu FCoE.
Natomiast w sieciach z większą ilością przełączników może dojść do zatrzymanie transmisji ruchu FCoE do urządzeń, które nie są przeciążone i mogą bez problemów go odbierać. Zdarzyć się może, że tylko pojedyncze urządzenie końcowe będzie przeciążone, podczas gdy do jednego przełącznika będzie wpięte ich więcej. To spowodować może wstrzymanie całego ruchu FCoE pomiędzy przełącznikami i co za tym idzie zatrzymanie transmisji ruchu FCoE do wszystkich urządzeń czy nawet innych gałęzi sieci.
Jest to podobne do efektu Slow Drain, jaki może wystąpić w sieci SAN opartej o Fibre Channel.
Rozszerzenie opisane w IEEE 802.1Qau CN (Congestion Notification) adresuje ten problem dla ruchu zwykłego i FCoE, z użyciem mechanizmu QCN (Quantized Congestion Notification). Rozszerzenie to wprowadza obsługę powiadomień o przeciążeniu w ramach pojedynczej domeny FC. Dzięki temu, nadawca może otrzymać informacje identyfikujące wielkość i miejsce przeciążenia, co pozwala mu stosownie zareagować i odpowiednio spowolnić konkretną transmisję.
O ile pozwala to ograniczyć wpływ takiego przeciążenia na resztę odbiorców czy rdzeń sieci, to bardzo ważne by pamiętać, że działanie QCN ograniczone jest do pojedynczej domeny warstwy drugiej (L2 - Layer 2) modelu OSI/ISO.
W technologii Ethernet pojedynczy segment L2 kończy się na urządzeniu L3, którym jest router. W przypadku FCoE, takim urządzeniem jest FCF (FCoE Forwarder). FCF zajmuje się obsługą logowań do SAN Fabric oraz realizacją innych, typowych dla przełącznika FC funkcji. Każde z urządzeń FCF realizuje przekazywanie danych FC hop-by-hop, gdzie za każdym razem następuje zmiana adresów MAC nadawcy i odbiorcy w ramce Ethernet.
Zatem, aby wykorzystanie QCN miało sens, w domenie FCoE powinny znajdować się przełączniki Ethernet z obsługą DCB, ale bez aktywnej funkcji FCF. Rozszerzenia DCB nie dotyczą tylko ruchu FCoE, a nawet są oddzielnym standardem, dlatego najlepiej kojarzyć je z szerokopojętym CEE (Converged Enhanced Ethernet) czy dodatkowymi usprawnieniami dla sieci Ethernet. DCB może również pozytywnie wpływać na ruch iSER (iWARP/RoCE).
W takiej sieci, przełączniki Ethernet z obsługą DCB pracują jako FSB (FIP Snooping Bridge) z obsługą PFC, ETS, DCBX i dynamicznych MAC ACL. Niezbędne informacje do obsługi dynamicznych MAC ACL dostarczane są przez mechanizm FIP Snooping. Warto pamiętać, że przełączniki FSB nie posiadają innych, typowych dla przełączników FC funkcjonalności, jak choćby Zoning. Ich zadaniem jest dostarczenie ramek poprzez sieć Ethernet do przełącznika FCF.
FCoE korzysta z dwóch protokołów o różnych wartościach pola EtherType w ramce Ethernet. FCoE o wartości EtherType 0x8906 do przenoszenia danych oraz FIP (FCoE Initialization Protocol) o wartości EtherType 0x8914 do funkcji kontrolnych, jak m.in. wykrywania VLAN z obsługą FCoE, przełącznika FCF czy logowania do SAN Fabric.
FIP Snooping analizuje wymieniane w sieci ramki FIP, wyłapując informacje powiązane z procesem logowania do SAN Fabric (FLOGI). Dzięki nim, dynamiczne MAC ACL mogą automatycznie tworzyć i usuwać zezwolenia na ruch pomiędzy adresami MAC ENode (FCoE Ethernet Node), a adresem MAC urządzenia FCF. Zapewnia to ochronę przed spoofingiem i tworzy typowy dla sieci FC kanały pomiędzy nimi, który biegnie poprzez sieć Ethernet.
Wpływ QCN na ruch FCoE jest bardzo zależny od zastosowanej architektury sieci. Tam gdzie jest ona dobrze zaprojektowana i obsługuje odpowiednie ratio nadsprzedaży, przeciążeniami nie powinniśmy się przejmować.
Jesteśmy partnerem firm IBM i Cisco Systems. Za naszym pośrednictwem można zakupić ich rozwiązania na polskim rynku. Zainteresowanych zapraszamy do
Rozszerzenie Data Center Bridging Capability eXchange (DCBX), opisane w dokumencie IEEE 802.1Qaz, wykorzystywane jest przez przełączniki i karty CNA (Converged Network Adapter) z funkcją DCB (Data Center Bridging), do komunikacji oraz wymiany informacji na temat obsługiwanych rozszerzeń i funkcjonalności.
Karty CNA są jednym z kluczowych elementów architektury Cisco UCS (Unified Computing System).
W ten sposób mogą one wynegocjować spójny zbiór funkcjonalności i ich parametrów, który pozwoli na poprawną ich kooperację. Do tego celu DCBX wykorzystuje protokół LLDP (Link Level Discovery Protocol) opisany w dokumencie IEEE 802.1AB (EtherType 0x88cc). Wymieniane pomiędzy dwiema stronami informacje mogą dotyczyć m.in. obsługiwanych aplikacji oraz rozszerzeń PFC, ETC, CN, Network Interface Virtualization i Logical link-down.
Nie można zapomnieć o jeszcze jednej przydatnej funkcji. Są momenty, gdzie na skutek jakiś zdarzeń potrzebujemy wyczyścić wszystkie stany związane z danym interfejsem FCoE lub wymusić przelogowanie do SAN Fabric znajdujących się za nim urządzeń. Aby tego dokonać, urządzenie końcowe może wysłać FIP Logout (LOGO), po czym zalogować się ponownie do SAN Fabric. W drugą stronę jest gorzej, gdyż nie istnieje podobny mechanizm dla przełącznika FC.
O ile można by wyłączyć i włączyć interfejs, to kiedy w Unified Fabric obsługujemy na jednym interfejsie ruch SAN i LAN nie powinno się tego robić. Spowodowałoby to przerwę w transmisji całego ruchu Ethernet na takim interfejsie, podczas gdy my mamy problem tylko z FCoE. Aby to zaadresować powstało rozszerzenie Logical link-down, które stosuje wiadomość FIP Clear Virtual Link, za pomocą której można poinformować drugą stronę, by odpowiednio zareagowała w celu wyczyszczenia stanów związanych z interfejsem, na którym wiadomość ta została odebrana.
Warto pamiętać, że do FC i FCoE powinno stosować się specjalnie przełączniki, jak Cisco MDS i Cisco Nexus.
Pełna ramka FCoE ma rozmiar 2180 oktetów. W jej skład wchodzi nagłówek Ethernet, nagłówek FCoE, nagłówek FC oraz nagłówek i dane protokołów warstw wyższych, które przenoszone są w FC.
Co do reszty, FCoE jest bardzo podobne do FC. Dlatego zachęcamy do zapoznania się też na naszym blogu z Fibre Channel oraz poruszonymi tam zagadnieniami. W szczególności warto zwrócić uwagę na Zoning, LUN Masking, WWNP, WWNN, FCID czy kwestie związane z działaniem CFS (Cisco Fabric Services) i wykorzystaniem dwóch SAN Fabric.
Wszystko to dostępne jest zarówno w FC, jak i FCoE. Na koniec warto dodać, że często w ramach tej samej sieci SAN stosowane jest zarówno FCoE, jak i FC. Na pewno celem FCoE nie jest ani zastąpienie FC, ani też konkurowanie z FC. Dlatego najczęście z FCoE będziemy mieli do czynienia tylko na krawędzi sieci SAN, gdzie znajdują się serwery.
Jesteśmy partnerem firmy IBM (International Business Machines). Za naszym pośrednictwem można zakupić ich produkty oraz rozwiązania na polskim rynku. Zainteresowanych zapraszamy do
Na rynku jest zbyt dużo sprzętu z szarego kanału, stąd koniecznie sprawdzaj, czy firma sprzedająca produkty firmy Cisco Systems jest na 100% jej partnerem handlowym. Sprawdzić można to w Cisco Partner Locator, gdzie też jesteśmy.
