Fibre Channel over Ethernet
FCoE (Fibre Channel over Ethernet) umożliwia przenoszenie ramek Fibre Channel (FC) poprzez sieć Ethernet. W ten sposób daje możliwość wymiany ruchu LAN i SAN w ramach jednej konwergentnej sieci - Unified Fabric. Komitet T11, będący częścią INCITS (InterNational Committee for Information Technology Standard) opisał w ramach FC-BB-5 transmisję ramek FC z użyciem innych technologii, do których należy m.in. Ethernet. Dodatkowo, w późniejszym czasie powstało kilka rozszerzeń i usprawnień dla FCoE, których rozwojem zajmuje się grupa robocza IEEE 802.1.
Fibre Channel posiada swój własny model warstwowy, który składa się z 5 warstw, od FC-0 do FC-4. Nie jest on zgodny z 7 warstwowym modelem OSI/ISO, z którego korzysta technologia Ethernet.
FC-0 definiuje fizyczny interfejs, złącza, okablowanie i ich parametry, a FC-1 kodowanie nadmiarowe 8b/10b, 64b/66b lub 256b/257b. Obsługa sygnalizacji, ramek, błędów, B2B Credits, R_RDY czy klas usługowych (ang. Service Classes) realizowana jest na poziomie warstwy FC-2. Niemniej, część z tych funkcjonalności musiała zostać zastąpiona, a część pozostać bez zmian. Stąd warstwa FC-2 została podzielona na 3 podwarstwy:
- FC-2V (Virtual) - niezbędne środowisko do przenoszenia różnych protokołów.
- FC-2M (Multiplexer) - adresowanie i funkcje routingu ramek.
- FC-2P (Physical) - wysyłanie i odbieranie ramek oraz obsługa B2B Credits.
Specyfikacja FCoE zastępuje technologią Ethernet całą warstwę FC-0 i FC-1 oraz podwarstwy FC-2P i FC-2M, umożliwiając przenoszenie w Ethernet wszystkiego od podwarstwy FC-2V w górę. W ten sposób zachowane zostały specyficzne dla Fibre Channel funkcjonalności, których nie jest w stanie realizować Ethernet.
Jednym z powodów powstania FCoE, była chęć transmisji ramek FC z większą prędkością. Technologia Ethernet tak szybko się rozwija, że już dziś mamy 10GbE, 25GbE, 40GbE, 100GbE, a nawet 400GbE. Warto też pamiętać, że 1G od technologii Ethernet to więcej niż 1G od technologii Fibre Channel. Wynika to z tego, że podawana w Ethernet prędkość, to prędkość niezależna od kodowania nadmiarowego, podczas gdy Fibre Channel podaje prędkość, która musi jeszcze uwzględnić kodowanie nadmiarowe, dokładające dodatkowe bity.
W wielu przypadkach zastosowanie Unified Fabric dla ruchu LAN i SAN będzie o wiele bardziej ekonomiczne pod względem zagospodarowania przestrzeni, obsługi i utrzymania oraz finansowym, niż budowanie niezależnej sieci SAN, składającej się z niezależnych przełączników, interfejsów oraz dodatkowego okablowania.
Unified Fabric to zwykle też mniej kart w serwerach, co powoduje że można wybrać serwery 1U, zamiast 2U.
Jesteśmy partnerem IBM i Cisco Systems. Za naszym pośrednictwem można zakupić ich rozwiązania na polskim rynku. Zainteresowanych zapraszamy do This email address is being protected from spambots. You need JavaScript enabled to view it.. Kupując u nas masz pewność, że wszystko pochodzi z oficjalnego kanału sprzedaży na polskim rynku oraz jest oryginalnym i pełnowartościowym produktem.
Typowy ruch Ethernet przesyłany jest bez żadnej gwarancji jego doręczenie (ang. best effort). Oczywiście, przełączniki starają się dostarczyć ruch do adresata, niemniej jeżeli w jakimś miejscu sieci dojdzie do przeciążenia, nadmiarowy ruch może ulec opóźnieniu, a nawet odrzuceniu. W takich przypadkach, o jego ponowną retransmisję czy zapewnienie gwarancji doręczenia muszą zadbać protokoły warstwy wyższych, jak m.in. TCP czy SCTP.
Fibre Channel stara się realizować bezstratną transmisję (ang. lossless) przy pomocy mechanizmu B2B Credits (Buffer-to-Buffer Credits). Technologie Ethernet i FCoE nie wykorzystują B2B Credits.
W technologii Ethernet istnieje mechanizm realizujący podobne funkcje do B2B Credits. Został on opisany w IEEE 802.3x LLFC (Link-Level Flow Control) i umożliwia przeciążonemu odbiorcy zasygnalizować, by druga strona wstrzymała na krótki czas transmisję. Realizowane jest to za pomocą specjalnej ramki PAUSE. W tradycyjnym standardzie Ethernet, taka ramka PAUSE ma wpływ na cały ruch. Stąd zastosowanie IEEE 802.3x LLFC do budowy FCoE byłoby możliwe tylko tam, gdzie na połączeniach obsługiwany byłby tylko ruch SAN.
W technologii Ethernet istnieje mechanizm realizujący podobne funkcje do B2B Credits. Został on opisany w IEEE 802.3x LLFC (Link-Level Flow Control) i umożliwia przeciążonemu odbiorcy zasygnalizować, by druga strona wstrzymała na krótki czas transmisję. Realizowane jest to za pomocą specjalnej ramki PAUSE. W tradycyjnym standardzie Ethernet, taka ramka PAUSE ma wpływ na cały ruch. Stąd zastosowanie IEEE 802.3x LLFC do budowy FCoE byłoby możliwe tylko tam, gdzie na połączeniach obsługiwany byłby tylko ruch SAN.
Grupa robocza IEEE 802.1 opracowała zestaw rozszerzeń dla technologii Ethernet, za sprawą których możliwa jest obsługa ruchu LAN i SAN w ramach tych samych połączeń. Umożliwia to budowę tak zwanej Unified Fabric.
Rozszerzenie te dostępne są pod wspólną nazwą DCB (Data Center Bridging). W ich skład wchodzi:
- IEEE 802.1Qbb PFC (Priority-based Flow Control)
- IEEE 802.1Qaz ETS (Enhanced Transmission Selection)
- IEEE 802.1Qaz DCBX (Data Center Bridging Capability eXchange)
- IEEE 802.1Qau CN (Congestion Notification)
Ramki przenoszące FCoE w przełącznikach z obsługą DCB wykorzystują enkapsulację IEEE 802.1Q.
PFC (Priority-based Flow Control) opisane w IEEE 802.1Qbb rozszerza wykorzystanie ramek PAUSE o możliwość ich generowania per zdefiniowana klasa ruchu. W ten sposób mają one wpływ tylko na wybrane klasy ruchu, jak ruch FCoE, który powinien być obsługiwany w sieci bezstratnie (ang. lossless).
Klasy ruchu obsługujące normalny ruch Ethernet, mogą być obsługiwane bez mechanizmu PFC PAUSE. Ramka PFC PAUSE zawiera informacje wskazujące dla której klasy ruchu i na jaki czas powinna zostać wstrzymana transmisja. Każda z klas ruchu wykorzystuje inną wartość pola IEEE 802.1p CoS (Class of Service) nagłówka IEEE 802.1Q.
Kiedy bufory portu odbiorcy docierają do zdefiniowanego progu przeciążenia, port zaczyna generować PFC PAUSE w stronę portu przełącznika, który generuje w jego stronę ruch. Po odebraniu takiej ramki, przełącznik wstrzymuje ruch na porcie powiązany ze wskazaną w PFC PAUSE klasą ruchu.
W ten sposób PFC jest w stanie zapewnić ochronę przed odrzucaniem ramek FCoE w przeciążonej sieci, co daje możliwość budowy konwergentnej sieci z obsługą LAN i SAN na tych samych połączeniach.
W ten sposób PFC jest w stanie zapewnić ochronę przed odrzucaniem ramek FCoE w przeciążonej sieci, co daje możliwość budowy konwergentnej sieci z obsługą LAN i SAN na tych samych połączeniach.
W ramach pola CoS opisanego w IEEE 802.1p mamy do dyspozycji 3 bity, które umożliwiają zdefiniowanie do 8 klas ruchu. Każda z takich klas może być obsługiwana w inny sposób, włączając w to wspomniane wcześniej PFC PAUSE, priorytet obsługi czy limity pasma.
ETS (Enhanced Transmission Selection) opisane w IEEE 802.1Qaz rozszerza technologię Ethernet o mechanizmy umożliwiające bezpieczne współdzielenie pasma pomiędzy ruchem LAN i SAN, definiując 3 sposoby obsługi ruchu:
- Strict Priority - dla ruchu, który wymaga priorytetowej obsługi, jak wymiana z niskimi opóźnieniami komunikatów IPC (Inter-Process Communication), czy ruchu głosowego VoIP (Voice over IP).
- Credit-based Shaping - dla ruchu związane z AVB (Audio Video Bridging) oraz transmisją głosu i obrazu na żywo z niskimi opóźnieniami (IEEE 802.1Qav), która wymaga rezerwacji pasma pomiędzy nadawcą, a odbiorcą.
- Enhanced Transmission Selection - dla ruchu z obsługą dynamicznej alokacji pasma, do którego należy ruch wymagający bezstratnej transmisji, jak FCoE czy iSCSI, oraz tradycyjny ruch o różnym priorytecie.
Kolejki z obsługą ETS obsługiwane są po kolejkach z obsługą Strict Priority i Credit-based Shaping.
Klasy ruchu (ang. Traffic Classes) w ETS tworzone są na podstawie wartości pola CoS. Do jednej klasy ruchu ETS może należeć więcej niż jedna wartość CoS. W ten sposób możemy utworzy do 8 wirtualnych połączeń w ramach 1 fizycznego. W praktyce będzie ich mniej, jako że ruch wymagający takiej samej obsługi trafia do jednej klasy ETS.
Klasy ruchu (ang. Traffic Classes) w ETS tworzone są na podstawie wartości pola CoS. Do jednej klasy ruchu ETS może należeć więcej niż jedna wartość CoS. W ten sposób możemy utworzy do 8 wirtualnych połączeń w ramach 1 fizycznego. W praktyce będzie ich mniej, jako że ruch wymagający takiej samej obsługi trafia do jednej klasy ETS.
ETS umożliwia optymalne zarządzanie dostępem do pasma zarówno pomiędzy różnymi wartościami CoS wewnątrz danej klasy ruchu, jak i pomiędzy różnymi klasami ruchu. Gwarantuje dostępu do minimalnego pasma danej klasy ruchu, jak i możliwość wykorzystania większej ilości pasma, jeżeli tylko w danej chwili jest ono dostępne.
Za sprawą ETS i PFC mamy możliwość niezależnego zatrzymywania ruchu w ramach wybranych klas ruchu, jak i możliwość określenia dla nich rozsądnych ograniczeń pasma.
Jesteśmy partnerem IBM i Cisco Systems. Za naszym pośrednictwem można zakupić ich rozwiązania na polskim rynku. Zainteresowanych zapraszamy do This email address is being protected from spambots. You need JavaScript enabled to view it.. Kupując u nas masz pewność, że wszystko pochodzi z oficjalnego kanału sprzedaży na polskim rynku oraz jest oryginalnym i pełnowartościowym produktem.
Niestety to nie zawsze wystarcza. W przypadku małych sieci SAN, gdzie wszystkie urządzenia końcowe w ramach SAN Fabric są wpięte do pojedynczego przełącznika, PFC wystarczy do obsługi przeciążeń dla ruchu FCoE.
Natomiast w sieciach z większą ilością przełączników może dojść do zatrzymanie transmisji ruchu FCoE do urządzeń, które nie są przeciążone i mogą bez problemów go odbierać. Zdarzyć się może, że tylko pojedyncze urządzenie końcowe będzie przeciążone, podczas gdy do jednego przełącznika będzie wpięte ich więcej. To spowodować może wstrzymanie całego ruchu FCoE pomiędzy przełącznikami i co za tym idzie zatrzymanie transmisji ruchu FCoE do wszystkich urządzeń czy nawet innych gałęzi sieci.
Jest to podobne do efektu Slow Drain, jaki może wystąpić w Fibre Channel. Efekt Slow Drain i przykładowe metody jego zapobiegania zostały zawarte w opisie przełączników Cisco MDS.
Natomiast w sieciach z większą ilością przełączników może dojść do zatrzymanie transmisji ruchu FCoE do urządzeń, które nie są przeciążone i mogą bez problemów go odbierać. Zdarzyć się może, że tylko pojedyncze urządzenie końcowe będzie przeciążone, podczas gdy do jednego przełącznika będzie wpięte ich więcej. To spowodować może wstrzymanie całego ruchu FCoE pomiędzy przełącznikami i co za tym idzie zatrzymanie transmisji ruchu FCoE do wszystkich urządzeń czy nawet innych gałęzi sieci.
Jest to podobne do efektu Slow Drain, jaki może wystąpić w Fibre Channel. Efekt Slow Drain i przykładowe metody jego zapobiegania zostały zawarte w opisie przełączników Cisco MDS.
IEEE 802.1Qau CN (Congestion Notification) adresuje ten problem dla ruchu zwykłego i FCoE z użyciem mechanizmu QCN (Quantized Congestion Notification). Rozszerzenie to wprowadza obsługę powiadomień o przeciążeniu w ramach pojedynczej domeny FC. Dzięki temu, nadawca może otrzymać informacje identyfikujące wielkość i miejsce przeciążenia, co pozwala mu stosownie zareagować i odpowiednio spowolnić konkretną transmisję.
O ile pozwala to ograniczyć wpływ takiego przeciążenia na resztę odbiorców czy rdzeń sieci, to bardzo ważne by pamiętać, że działanie QCN ograniczone jest do pojedynczej domeny warstwy drugiej (L2 - Layer 2) modelu OSI/ISO.
W technologii Ethernet pojedynczy segment L2 kończy się na urządzeniu L3, którym jest router. W przypadku FCoE, takim urządzeniem jest FCF (FCoE Forwarder). FCF zajmuje się obsługą logowań do SAN Fabric oraz realizacją innych, typowych dla przełącznika FC funkcji. Każde z urządzeń FCF realizuje przekazywanie danych FC hop-by-hop, gdzie za każdym razem następuje zmiana adresów MAC nadawcy i odbiorcy w ramce Ethernet.
O ile pozwala to ograniczyć wpływ takiego przeciążenia na resztę odbiorców czy rdzeń sieci, to bardzo ważne by pamiętać, że działanie QCN ograniczone jest do pojedynczej domeny warstwy drugiej (L2 - Layer 2) modelu OSI/ISO.
W technologii Ethernet pojedynczy segment L2 kończy się na urządzeniu L3, którym jest router. W przypadku FCoE, takim urządzeniem jest FCF (FCoE Forwarder). FCF zajmuje się obsługą logowań do SAN Fabric oraz realizacją innych, typowych dla przełącznika FC funkcji. Każde z urządzeń FCF realizuje przekazywanie danych FC hop-by-hop, gdzie za każdym razem następuje zmiana adresów MAC nadawcy i odbiorcy w ramce Ethernet.
Stąd, aby wykorzystanie QCN miało sens, w domenie FCoE powinny znajdować się przełączniki Ethernet z obsługą DCB, ale bez aktywnej obsługi FCF. Rozszerzenia DCB nie dotyczą tylko ruchu FCoE, a nawet są oddzielnym standardem, dlatego najlepiej kojarzyć je z szerokopojętym CEE (Converged Enhanced Ethernet) czy dodatkowymi usprawnieniami dla sieci Ethernet. DCB może również pozytywnie wpływać na ruch iSCSI czy iSER (iWARP/RoCE).
W takiej sieci, przełączniki Ethernet z obsługą DCB pracują jako FSB (FIP Snooping Bridge) z obsługą PFC, ETS, DCBX i dynamicznych MAC ACL. Niezbędnych informacji do obsługi dynamicznych MAC ACL dostarczane są przez mechanizm FIP Snooping. Warto pamiętać, że przełączniki FSB nie posiadają innych, typowych dla przełączników FC funkcjonalności, jak choćby Zoning. Ich zadaniem jest dostarczenie ramek poprzez sieć Ethernet do przełącznika FCF.
FCoE korzysta z dwóch protokołów o różnych wartościach pola EtherType w ramce Ethernet. FCoE o wartości EtherType 0x8906 do przenoszenia danych oraz FIP (FCoE Initialization Protocol) o wartości EtherType 0x8914 do funkcji kontrolnych, jak m.in. wykrywania VLAN z obsługą FCoE, przełącznika FCF czy logowanie do SAN Fabric.
FIP Snooping analizuje wymieniane w sieci ramki FIP, wyłapując informacje powiązane z procesem logowania do SAN Fabric (FLOGI). Dzięki nim dynamiczne MAC ACL mogą automatycznie tworzyć i usuwać zezwolenia na ruch pomiędzy adresami MAC ENode (FCoE Ethernet Node), a adresem MAC urządzenia FCF. Zapewnia to ochronę przed spoofingiem i tworzy typowy dla sieci FC kanały pomiędzy nimi, który biegnie przez sieć Ethernet.
Tak więc wpływ QCN na ruch FCoE jest bardzo zależny od zastosowanej architektury sieci. Tam gdzie jest ona dobrze zaprojektowana i obsługuje odpowiednie ratio nadsprzedaży, przeciążeniami nie powinniśmy się przejmować.
Data Center Bridging Capability eXchange (DCBX) opisane w IEEE 802.1Qaz wykorzystywane jest przez przełączniki i karty CNA (Converged Network Adapter) z funkcją DCB (Data Center Bridging) do komunikacji oraz wymiany informacji na temat obsługiwanych rozszerzeń i funkcjonalności.
W ten sposób mogą one wynegocjować spójny zbiór funkcjonalności i ich parametrów, który pozwoli na poprawną ich kooperację. Do tego celu DCBX wykorzystuje LLDP (Link Level Discovery Protocol) opisane w IEEE 802.1AB (EtherType 0x88cc). Wymieniane pomiędzy dwoma stronami informacje mogą dotyczyć m.in. obsługiwanych aplikacji, PFC, ETC, CN, Network Interface Virtualization i Logical link-down.
Nie można zapomnieć o jeszcze jednej przydatnej funkcji. Są momenty, gdzie na skutek jakiś zdarzeń potrzebujemy wyczyścić wszystkie stany związane z danym interfejsem FCoE lub wymusić przelogowanie do SAN Fabric znajdujących się za nim urządzeń. Aby tego dokonać, urządzenie końcowe może wysłać FIP Logout (LOGO), po czym zalogować się ponownie do SAN Fabric. W drugą stronę jest gorzej, gdyż nie istnieje podobny mechanizm dla przełącznika FC.
O ile można by wyłączyć i włączyć interfejs, to kiedy w Unified Fabric obsługujemy na jednym interfejsie ruch SAN i LAN nie powinno się tego robić. Spowodowałoby to przerwę w transmisji całego ruchu Ethernet na takim interfejsie, podczas gdy my mamy problem tylko z FCoE. Aby to zaadresować powstało rozszerzenie Logical link-down, które stosuje wiadomość FIP Clear Virtual Link, za pomocą której można poinformować drugą stronę by odpowiednio zareagowała w celu wyczyszczenia stanów związanych z interfejsem, na którym wiadomość ta została odebrana.
O ile można by wyłączyć i włączyć interfejs, to kiedy w Unified Fabric obsługujemy na jednym interfejsie ruch SAN i LAN nie powinno się tego robić. Spowodowałoby to przerwę w transmisji całego ruchu Ethernet na takim interfejsie, podczas gdy my mamy problem tylko z FCoE. Aby to zaadresować powstało rozszerzenie Logical link-down, które stosuje wiadomość FIP Clear Virtual Link, za pomocą której można poinformować drugą stronę by odpowiednio zareagowała w celu wyczyszczenia stanów związanych z interfejsem, na którym wiadomość ta została odebrana.
Warto pamiętać, że do FCoE powinno stosować się specjalnie przełączniki, jak Cisco MDS czy Cisco Nexus.
Jesteśmy partnerem IBM i Cisco Systems. Za naszym pośrednictwem można zakupić ich rozwiązania na polskim rynku. Zainteresowanych zapraszamy do This email address is being protected from spambots. You need JavaScript enabled to view it.. Kupując u nas masz pewność, że wszystko pochodzi z oficjalnego kanału sprzedaży na polskim rynku oraz jest oryginalnym i pełnowartościowym produktem.
Pełna ramka FCoE ma rozmiar 2180 oktetów. W jej skład wchodzi nagłówek Ethernet, nagłówek FCoE, nagłówek FC oraz nagłówek i dane protokołów warstw wyższych, które przenoszone są w FC.
Co do reszty, FCoE jest bardzo podobne do FC. Dlatego zachęcamy do zapoznania się też z Fibre Channel oraz poruszonymi tam zagadnieniami. W szczególności warto zwrócić uwagę na Zoning, LUN Masking, WWNP, WWNN, FCID czy kwestie związane z działaniem CFS (Cisco Fabric Services) i wykorzystaniem dwóch SAN Fabric.
Wszystko to dostępne jest zarówno w FC, jak i FCoE.
Na rynku jest zbyt dużo sprzętu z szarego kanału, stąd koniecznie sprawdzaj, czy firma sprzedająca produkty Cisco Systems jest na 100% jej partnerem handlowym. Sprawdzić można to w Cisco Partner Locator, gdzie też jesteśmy.
Zapraszamy do kontaktu drogą mailową This email address is being protected from spambots. You need JavaScript enabled to view it. lub telefonicznie +48 797 004 932.