Ethernet szybki i pewny

Pewność działania, przepustowość i determinizm to główne tematy zainteresowania użytkowników przemysłowego Ethernetu.
Przez ostatnich 10 lat internetowe i sieciowe urządzenia rozmnożyły się ponad wszelkieoczekiwania i wszystko wskazuje na to, że ten wzrost utrzyma się w następnych latach (rys. 1). Adaptacja Ethernetu do wymagań stawianych przemysłowym sieciom wymagała wielu modyfikacji, ale ostatecznie to Ethernet stał się podstawą dzisiejszych sieci przemysłowych. W artykule omówiono wymagania stawiane sieciom, które gwarantują pewność działania i spełnienie najbardziej rygorystycznych norm oraz przedstawiono dobre praktyki zapewniające pewność działania i najwyższą wydajność przemysłowych sieci ethernetowych.
Określanie wydajności Ethernetu
Mówiąc ogólnie, trzy najważniejsze wskaźniki wydajności, które najbardziej interesują inżynierów związanych z przemysłowym Ethernetem, to pewność działania, przepustowość i determinizm. Pewność działania dotyczy czasu pracy bez przestojów sieci i urządzeń, jest więc najbardziej krytycznym wskaźnikiem wydajności sieci automatyki i sterowania.
Potrzeba dużej pewności działania to powód, ze względu na który nowe rozwiązania znane z rynku konsumenckiego są wprowadzane do świata przemysłowego z opóźnieniem. Użytkownicy biznesowi są w stanie wytrzymać chwilowe opóźnienia w otrzymaniu poczty lub w komunikacji sieciowej, a w adaptacji najnowszych, oszczędzających czas technologii widzą natychmiastową korzyść. Inaczej jest w przypadku aplikacji przemysłowych, gdzie zakłócenia w pracy lub komunikacji mogą spowodować natychmiastowe i znaczne straty. Właśnie dlatego użytkownicy przemysłowi z niechęcia podchodzą do stosowania nowej technologii, dopóki nie mają pewności, że gwarantuje ona wyjątkowo stabilną i wydajną pracę bez przerw.
Innym wskaźnikiem wydajności jest przepustowość, związana z wielkością dopuszczalnego ruchu sieciowego. Przepustowość staje się coraz ważniejszą kwestią dla wielu użytkowników przemysłowych, co jest powodowane różnymi czynnikami: rosnącą liczbą urządzeń w sieci, rosnącym wykorzystaniem technologii bezprzewodowych i komórkowych, i rosnącą rolą wideo IP w monitorowaniu i nadzorze. Chociaż jest jeszcze wiele aplikacji, gdzie 10/100 Mbps w zupełności wystarczy do obsługi szacowanego obciążenia przepustowości, sieci Gigabit, a nawet 10 GbE szybko stają się standardowym wymaganiem w projektach sieci przemysłowych.
Ostatecznie dla wielu aplikacji automatyki i sterowania ważne jest, aby przemysłowe sieci Ethernet oferowały określony poziom determinizmu, gwarantujący dostarczenie danych w przewidywalnym czasie. W przeszłości był to niezwykle trudny warunek do spełniania przez Ethernet, którego koncepcja dopuszczała znaczne odchyłki czasu dostarczenia pakietów. W aplikacjach, które wymagają precyzyjnego taktowania i koordynacji, takich jak kontrola maszyn, niepewność czasu dostarczenia pakietów nie może być tolerowana. Na szczęście zmiany w technologii ethernetowej i nowe standardy umożliwiły osiągnięcie akceptowalnego przez użytkowników przemysłowych poziomu determinizmu.
Pewność działania urządzeń, awarie wyposażenia
Zadanie zapewnienia długiego czasu pracy sieci ethernetowej bez przestojów rozpoczyna się od wzmocnienia urządzeń. Czynniki środowiskowe, na których działanie narażone jest przemysłowe wyposażenie ethernetowe, są znacznie bardziej agresywne niż te spotykane w domach czy biurach. Ethernetowe urządzenia umieszczone w szafie sterowniczej lub gdzieś w fabryce mogą być poddane działaniu wibracji, interferencji elektromagnetycznych, ciepła i cząstek stałych unoszących się wraz z powietrzem. Jeśli oprzyrządowanie nie jest odpowiednio wzmocnione i zabezpieczone, sieć Ethernetowa może cierpieć na okresowe awarie, których skutkiem będzie niepewna transmisja danych.

Wymuszony obieg powietrza jest jedną z najczęściej wykorzystywanych metod zapobiegania przegrzaniu sprzętu. Cyrkulację i wymianę powietrza zapewniają wentylatory (rys. 2). Takie rozwiązanie sprawdza się, gdy oprzyrządowanie znajduje się w czystym pomieszczeniu z klimatyzacją, takim jak pomieszczenie IT w wielu zakładach. Urządzenia konsumenckie i biurowe nie nadają się zwykle do wielu aplikacji przemysłowych, gdzie czyste i klimatyzowane pomieszczenia są po prostu niedostępne lub nie istnieją. Powszechnie występujący w środowisku przemysłowym pył może negatywnie wpłynąć na wymuszoną cyrkulację, gdyż pył ma tendencję do gromadzenia się na filtrach i samym urządzeniu. Co więcej, wentylatory same w sobie są bardziej podatne na uszkodzenia niż wiele innych komponentów, dlatego muszą być poddawane regularnej kontroli, a jej koszt musi być wliczony w koszty obsługi sieci.

Z tego powodu chłodzenie pasywne (bezwentylatorowe) stało niezbędną cechą zapewniającą wysoką bezawaryjność przemysłowego osprzętu ethernetowego. Ponieważ nie ma ruchomych części, chłodzone pasywnie urządzenie może osiągnąć dłuższy czas między kolejnymi awariami i znakomicie sprawdza się w zastosowaniach przemysłowych. Ilość wiedzy inżynierskiej wymaganej do opracowania bezwentylatorowego switcha ethernetowego wpływa bezpośrednio na zwiększony koszt zakupu urządzenia przemysłowego w stosunku do jego wentylatorowego odpowiednika konsumenckiego. Cykl życia przemysłowych urządzeń sieciowych jest jednak na tyle długi, że bezwentylatorowy switch cechuje się wysokim wskaźnikiem ROI, gdy pod uwagę weźmie się ograniczone utrzymanie, zmniejszony czas przestojów i koszt wymiany urządzeń.
Zasilanie, medium i ich redundancja
Redundancja nie tylko zasilania, ale również medium pomaga minimalizować ryzyko wystąpienia i ewentualny wpływ przestoju sieci. Przemysłowe sieci znajdują się często w sąsiedztwie ruchomych elementów maszyn, takich jak silniki i generatory oraz innych urządzeń dużej mocy, jak spawarki. Osprzęt ethernetowy jest narażony na fluktuacje zasilania, których nie spotyka się często w domu czy biurze. Z tych i innych powodów realizacja podstawowej redundancji systemu sterowania wymaga redundancji zasilania każdego segmentu sieci na wypadek pojawienia się nadmiernych zakłóceń lub przerwy w zasilaniu. Zasilanie awaryjne wkracza do akcji, gdy zasilanie podstawowe zanika, minimalizując prawdopodobieństwo uszkodzenia lub utraty danych krytycznych. Aby spełnić wymagania systemów automatyki i sterowania, urządzenia muszą akceptować niestabilizowane napięcie zasilające DC, mieć zabezpieczenie przed odwrotną polaryzacją i odseparowane wejście zasilania awaryjnego.
Redundancja medium stanowi równie częsty wymóg sieci automatyki i wiąże się z koniecznością zapewnienia alternatywnej ścieżki komunikacyjnej, na wypadek awarii części sieci. Ponieważ redundantne połączenia w sieci Ethernet tworzą pętle, trzeba sprzętowo lub za pomocą odpowiedniego protokołu zablokować wykorzystywanie drugiej trasy. Protokół drzewa rozpinającego (ang. Spanning-Tree Protocol – STP) opisany w IEEE 802.1D został opracowany na potrzeby radzenia sobie z równoległymi połączeniami w sieciach IT. Zgodnie z IEEE 802.1D jeden switch staje się rootem, który automatycznie blokuje pakiety przemieszczające się po sieci przez dowolną redundantną trasę. W przypadku, gdy jedna z normalnie wykorzystywanych tras zostanie odłączona od sieci, STP automatycznie rekonfiguruje sieć z wykorzystaniem redundantnej trasy.
Głównym ograniczeniem protokołu STP IEEE 802.1D jest czas potrzebny na rekonfigurację sieci, polegającą na negocjowaniu switcha root z innymi switchami właściwej trasy i wykorzystywanych portów. Gdy jedno z połączeń ulegnie uszkodzeniu, sieć STP poddawana jest rekonfiguracji, podczas której wstrzymywany jest cały ruch sieciowy niezwiązany z komunikatami o rekonfiguracji, wymienianymi między switchami. Wstrzymanie usługi może potrwać do 50 s, co może powodować znaczne i nieakceptowane w świecie automatyki przemysłowej straty.

IEEE 802.1W opisuje Szybki Protokół Drzewa Rozpinającego (ang. Rapid Spanning-Tree Protocol – RSTP), opracowany w celu przezwyciężenia ograniczeń IEEE 802.1D, który charakteryzuje się znacznie zwiększoną wydajnością, zmniejszonym czasem rekonfiguracji (poniżej 5 s) i poprawioną obsługą zduplikowanych mostów RSTP oraz mostów o niewłaściwej kolejności. Poprawę czasu rekonfiguracji osiągnięto przez redukcję liczby stanów portu z pięciu do trzech oraz dodanie do funkcji portów możliwości szybkiego włączania i wyłączania, bez potrzeby rekonfiguracji sieci (ponieważ nie przepuszczają ramek do innych switchy).
Dzięki tym usprawnieniom udało się osiągnąć redundancję medium przy wysokiej wydajności sieci, ale jednoczesne wykorzystanie RSTP i STP powoduje utratę niektórych usprawnień.
Chociaż RSTP jest znacznym postępem w stosunku do STP, wiele aplikacji sterowania wymaga jeszcze krótszych czasów rekonfiguracji sieci. Wielu dostawców komponentów sieciowych opracowało własne protokoły redundancji bazujące na 802.1W, które zapewniają niemal natychmiastową rekonfigurację. Chronione protokoły potrafią przywrócić do działania sieć składającą się z 250 switchy w 20 ms. Trzeba wiedzieć, że czas ten zależy od obciążenia sieci i liczby podłączonych switchy, dlatego zagwarantowanie wymaganego czasu rekonfiguracji wymaga rzeczywistych testów i badań.
Poza zorientowanymi na redundancję protokołami bazującymi na łańcuchach i pierścieniach opracowano wiele rozwiązań dla samych urządzeń, które pomagają zmniejszać czas przestoju sieci przemysłowych. Niektóre switche działające w topologiach liniowych wyposaża się w porty typu bypass, które działają nawet po utracie zasilania (rys. 3). Innym sposobem na redukcję przestojów i poprawę diagnostyki są moduły ethernetowe przystosowane do wymiany bez odłączania zasilania. W przypadku awarii takiego modułu można go łatwo wymienić, nie wyłączając zasilania całego switcha.
Zarządzalne urządzenia, sieci
Podstawą wydajności Ethernetu w przemysłowych systemach automatyki jest mocny sprzęt z mocną redundancją i mechanizmami kopii zapasowych. Kolejnym istotnym czynnikiem jest zarządzanie ruchem sieciowym. Proste niezarządzalne switche można z powodzeniem stosować do podziału sieci oraz zapobiegania kolizjom, ale ich zarządzalne odpowiedniki oferują większą elastyczność i mają większy wpływ na wydajność całej sieci. Zarządzalne switche umożliwiają np. stosowanie redundantnych topologii, badanie jakości usługi (QoS), nasłuch ruchu IGMP, logowanie danych i wiele innych funkcji, zapewniając wydajną, bezpieczną i pewną obsługę ruchu sieciowego.
Zarządzalna infrastruktura sieciowa umożliwia administratorom reakcję na nieoczekiwane i potencjalne groźne zdarzenia. Użytkownicy, z niewiedzy lub złośliwie, mogą podłączyć do sieci urządzenie, które znacznie obniży jej wydajność, np. zawirusowany komputer. Jeśli np. użytkownik dodał router do sieci wykorzystującej dynamiczny routing, istnieje możliwość skierowania całego ruchu sieciowego do tego routera, w wyniku czego nie tylko następuje spowolnienie sieci, ale powstaje możliwość ataku typu man in the middle. Do innych trudnych do przewidzenia zdarzeń, mogących negatywnie wpłynąć na sieć, zalicza się nagłą awarię urządzenia i przypadkowe zerwanie lub odłączeniekabla.
Projektanci przemysłowych sieci muszą się również upewnić, czy wymiana danych między sieciami różnego typu zachodzi w sposób kontrolowany. W przeszłości można było do tego wykorzystać wyłącznie dedykowane routery, które przez analizę pakietów ograniczały prędkość sieci. Jedną ze zmian, której doświadczył przemysłowy Ethernet w ciągu ostatnich lat, było wykorzystanie wydajnych switchy warstwy trzeciej modelu OSI sieci, które obsługują kluczowe funkcje routingu ze znacznie większą prędkością, elastycznością i funkcjonalnością, niż robiły to tradycyjne routery (rys. 4). Producenci dołożyli również starań, aby zwiększyć prędkość tradycyjnych routerów przemysłowych. Na przykład w routerach z funkcją zapory sieciowej wykorzystuje się 64-bitowe procesory taktowane zegarem 500 MHz, pozwalające osiągać transfer na poziomie 500 Mbps. Zapewnienie wydajności i bezpieczeństwa sieci wymaga ciągłej analizy ruchu sieciowego i różnych zdarzeń. Przegląd i analiza danych zapisanych w dzienniku zdarzeń to najbardziej podstawowy sposób na osiągnięcie tego celu. Pomagają w tym serwery zdarzeń, które mogą zbierać dane z każdego switcha w sieci, w celu łatwiejszego dostępu.
Prosty protokół zarządzania siecią (SNMP – ang. Simple Network Management Protocol) jest również często wykorzystywany do monitorowania i zarządzania urządzeniami sieciowymi i może być łatwo zintegrowany z dedykowanym oprogramowaniem do zarządzania siecią (rys. 5). To ułatwia użytkownikom uzyskanie aktualnych danych z dowolnej sieci wykorzystującej SNMP, takich jak poziom ruchu sieciowego dowolnego połączenia, oraz informacji o tym, czy dane urządzenie jest włączone, czy nie. Dodatkowo można ustawić automatyczne alarmowanie za pomocą e-mail lub SMS, wyzwalane przez dowolny trigger (np. jeśli port lub urządzenie przestaje odpowiadać). Administratorzy sieciowi zyskują zarówno wiedzę, jak i narzędzia do kontrolowania wydajności i bezpieczeństwa sieci – w czasie rzeczywistym i z wyprzedzeniem.
Wiele innych unowocześnień wprowadzonych do komunikacji ethernetowej okazało się pomocnych w zapewnianiu wydajności i bezpieczeństwa sieci. Oprogramowanie do zarządzania siecią może mieć wbudowany serwer OPC, który zapewnia łatwą integrację z systemem SCADA. Przemysłowe zarządzalne switche wyposaża się w cyfrowe wejścia i wyjścia służące do komunikacji z PLC. Niektóre z nich wspierają protokoły polowe, takie jak Modbus, EtherNet/IP czy Profinet, serwery SCADA mogą więc komunikować się z nimi bezpośrednio. Każdy dostawca oferuje inny poziom wsparcia dla różnych możliwości i protokołów, ale niemal każde urządzenie zawiera pewne podstawowe funkcje, takie jak monitorowanie stanu portów. Te i inne funkcje umożliwiają ściślejszą współpracę urządzeń ethernetowych i systemów przemysłowych, ułatwiając dostosowanie reguł zarządzania siecią do specyficznych i zmieniających się wymagań aplikacji.
Zarządzanie pasmem
Odpowiedni projekt sieci to taki, gdzie uwzględniono aplikację i poziom wydajności oczekiwany przez jej użytkowników. Jitter – nie opóźnienie – jest wrogiem deterministycznych sieci. Jeśli wielkość opóźnienia można przewidzieć, można je uwzględnić i sieć nadal będzie deterministyczna. Z odpowiednim zarządzaniem pasmem sieci ethernetowe mogą osiągnąć determinizm, który jest częstym wymogiem aplikacji przemysłowych.
Przeszacowanie jest jedną z najprostszych i najbardziej kosztownych metod zapewniania pożądanej jakości. Sprowadza się to do zaprojektowania sieci o takiej przepustowości, która zapobiegnie wystąpieniu przeciążenia. Poza prostą modernizacją do switchy 1 Gb i 10 Gb przepustowość może być zwiększona przez zastosowanie szybszych wzajemnych połączeń. Połączenia między switchami o prędkości 1 Gbps lub 10 Gbps zmniejszą opóźnienia i zwiększą przepustowość. Protokół Link Aggregation Control Protocol to także efektywna metoda skalowania przepustowości przez grupowanie wielu fizycznych połączeń w jedno o zwiększonej przepustowości. Wadą tego rozwiązania jest fakt, że ze wzrostem wymagań stawianych sieci zwiększa się zwykle pożądana przepustowość, co skutkuje zwiększaniem grupy połączeń, czyli zakupem dodatkowych urządzeń.
W zastosowaniach domowych i biurowych przy określaniu przepustowości sieci stosuje się zasadę 70/30, zgodnie z którą należy projektować sieć w taki sposób, aby znany ruch sieciowy zabierał 70% jej zasobów. Pozostałe 30% jest zarezerwowane dla nieznanych transmisji i stanowi margines bezpieczeństwa. W świecie automatyki i sterowania wymagany margines bezpieczeństwa i zapas na potrzeby rozbudowy jest znacznie większy niż w aplikacjach domowych i biurowych. Bardzo często znany ruch wykorzystuje jedynie 10% zasobów sieci, aby zagwarantować jej deterministyczną pracę i późniejszą rozbudowę. Nierzadko spotyka się sieci pracujące z ogromnym marginesem bezpieczeństwa, w których normalny ruch sieciowy stanowi jedynie 5% pełnej przepustowości.
Deterministyczne działanie sieci może być osiągnięte przez zastosowanie specjalnych protokołów ethernetowych, takich jak EtherCAT czy Profinet. Wysoko precyzyjną synchronizację, na poziomie µs dla całej sieci, można również otrzymać, wykorzystując protokół IEEE1588v2 PTP (ang. Precision Time Protocol). Tego typu technologie doskonale sprawdzają się w aplikacjach wymagających wysoko deterministycznego działania.
Jakość usług
QoS nie jest pojedynczym protokołem, ani nie stanowi określonej metody. QoS polega na zarządzaniu ruchem sieciowym, mającym na celu zapewnienie odpowiedniej wydajności w czasie dużego obciążenia sieci. Ethernetowe switche i routery przesyłają dane w trybie liniowym, tj. pierwszy na wejściu – pierwszy na wyjściu. Jeśli ilość danych na wejściu przekracza wyjściową przepustowość, urządzenie sieciowe musi buforować dane – następuje przeciążenie sieci. QoS zarządza przeciążeniem w taki sposób, że ruch sieciowy o wyższym priorytecie ma pierwszeństwo lub zarezerwowany fragment pasma.
Bazujący na strumieniach QoS grupuje pakiety lub ramki o tym samym priorytecie w strumienie. Niestety, QoS bazujący na strumieniach nigdy nie doczekał się masowej popularności ze względu na ponadprzeciętne wymagania i ograniczenia w skalowalności. Innym podejściem jest ocena na podstawie klas, która stała się podstawową metodą QoS w wielu sektorach. Ocena na podstawie klas polega na grupowaniu pakietów o podobnych wymaganiach względem jakości. Każda grupa uzyskuje różny priorytet i różny poziom dostępu do zasobów sieci. Ruch o wysokim priorytecie trafi do kolejki, która częściej uzyskuje dostęp do pasma sieci. Niski priorytet oznacza konieczność oczekiwania na wykonanie zadań o wyższym priorytecie.
Kolejkowanie pakietów bazujące na klasach wymaga oznaczenia pakietów tak, aby urządzenie sieciowe mogło je rozpoznać i nadać odpowiedni priorytet. Pakiety są zwykle oznaczane na podstawie ich zawartości, typu usługi i klasy usługi. Każda cecha zapewnia określenie priorytetu i spełnienie wymagań QoS.
Multicasting
Wiele urządzeń i protokołów przemysłowego Ethernetu wykorzystuje multicasting, który umożliwia dostarczenie danych do wielu odbiorców za pomocą pojedynczego strumienia danych. Można w ten sposób znacznie zmniejszyć wykorzystanie pasma w stosunku do wielokrotnego nadawania tego samego komunikatu do różnych odbiorców.
Multicasting jest dostępny w ramach protokołu IGMP, pracującego w trzeciej warstwie modelu sieci OSI. Switch pracujący wyłącznie w drugiej warstwie OSI będzie przekazywał ruch multicast do każdego urządzenia, niezależnie od tego, czy chce ono odbierać dane, czy nie.
Duże wykorzystanie ruchu typu multicast w przemysłowych systemach sterowania, szczególnie przez PLC, może powodować znaczne przeciążenie sieci. Rozwiązaniem tego problemu jest nasłuch multicast, dzięki któremu switche pracujące w drugiej warstwie są w stanie odebrać raport przyjęto/odrzucono, wysyłany przez trzecią warstwę urządzenia, do którego trafiają pakiety. Ruch typu multicast trafia wtedy wyłącznie na odpowiednie porty, zmniejszając obciążenie pozostałych portów. Nasłuch IGMP stał się z tego powodu kluczową funkcją, zapewniającą optymalne wykorzystanie przemysłowych sieci ethernetowych.
Podsumowanie
Wymagania dotyczące wydajności i charakteru pracy stawiane przemysłowym sieciom sterowania są odmienne od tych, które obowiązują w świecie domowego i biurowego zastosowania Ethernetu. Pewność działania, pasmo i determinizm są wciąż krytycznymi czynnikami dla użytkowników przemysłowych, a różne technologie, standardy i dobre praktyki pomagają w ich osiągnięciu. Użytkownicy oraz dostawcy przemysłowych komponentów ethernetowych rozwijają technologie i uczą się lepszego ich wykorzystania, dlatego bez wątpienia uda się uzyskać jeszcze większą wydajność przemysłowych sieci komunikacyjnych.
Opracował Łukasz Urbański, Zachodniopomorski Uniwersytet Technologiczny w Szczecinie
CE