Od dziesięcioleci systemy sterowania ciągle ewoluują, zaś technologie sztucznej inteligencji (artificial intelligence ? AI) pomagają w rozwoju następnej generacji pewnych systemów automatyki.
Regulator proporcjonalno-różniczkująco-całkujący (PID) może być interpretowany z podziałem jego możliwości na warstwy: człon proporcjonalny jest ukierunkowany na sygnał (kompensuje uchyb bieżący), człon całkujący namierza sygnał (kompensuje akumulację uchybów z przeszłości), zaś człon różniczkujący może minimalizować przeregulowanie (kompensuje przewidywane uchyby w przyszłości).
Chociaż ekosystem automatyki może się prezentować jako złożona sieć powiązanych ze sobą technologii, to może być on także uproszczony poprzez postrzeganie go jako ciągle ewoluujące gałęzie drzewa genealogicznego. Na przykład sprzężenie wyprzedzające (feed forward) poprawia regulację PID poprzez przewidywanie sygnału wyjściowego regulatora, a następnie wykorzystuje te przewidywania do oddzielenia uchybów wynikających z zakłóceń od wystąpień szumu. Regulacja predykcyjna MPC (model predictive control) wprowadza tu dodatkowe możliwości poprzez podział na warstwy przewidywań przyszłych wyników działań regulatora oraz sterowanie wieloma skorelowanymi wejściami i wyjściami. Najnowszą ewolucją strategii sterowania jest adopcja technologii sztucznej inteligencji (AI) przy projektowaniu układów automatyki przemysłowej. Jednym z najnowszych osiągnięć na tym polu jest wykorzystanie sterowników opartych na uczeniu głębokim ze wzmocnieniem (reinforcement learning).
Trzy cechy sterowników opartych na technologii sztucznej inteligencji
Sterowniki oparte na technologii AI (to jest sterowniki oparte na uczeniu głębokim ze wzmocnieniem, ang. deep reinforcement learning ? DRL) oferują unikatowe i atrakcyjne cechy, takie jak:
1.Uczenie się. Sterowniki oparte na technologii DRL uczą się poprzez metodyczne i stałe ćwiczenia, określane terminem nauczania maszyn (machine teaching). Tak więc sterowniki te potrafią odkrywać niuanse i wyjątki, które nie są łatwo przechwytywane przez systemy ekspertowe (expert systems) i mogą sprawiać trudności regulatorom o stałym wzmocnieniu. Silnik DRL (DRL engine) może być poddany przez symulator szerokiemu zakresowi różnych stanów procesowych. Wiele z tych stanów nigdy nie wystąpiłoby w rzeczywistym świecie, ponieważ silnik AI (mózg, ang. brain) może próbować sterować fabryką zbyt blisko lub zbyt daleko ograniczeń operacyjnych fizycznie istniejącego zakładu. W tym przypadku takie próby (które prawdopodobnie spowodowałyby sprowadzenie procesu do stanu bezpiecznego, ang. process trip, przez przyrządowy system bezpieczeństwa SIS) są doświadczeniami dla mózgu, który uczy się w ten sposób, jakich zachowań ma unikać. Gdy dzieje się tak wystarczająco często, mózg uczy się, czego ma nie robić. Ponadto silnik DRL potrafi uczyć się z wielu symulacji jednocześnie. Zamiast ?karmić? mózg danymi z jednej fabryki, można uczyć go setkami symulacji, z których każda odbywa się szybciej od sytuacji występujących w świecie rzeczywistym. W ten sposób mózg otrzymuje doświadczenie na podstawie treningów, co sprzyja jego optymalnemu uczeniu.
2. Opóźniona gratyfikacja. Sterowniki oparte na DRL potrafią nauczyć się rozpoznawania zachowania odbiegającego od optymalnego w krótkim czasie, co umożliwia optymalizację wzmocnień regulatorów w dłuższym czasie. Według Zygmunta Freuda, a nawet Arystotelesa 300 lat p.n.e., ludzie znają takie zachowanie pod nazwą ?opóźnionej gratyfikacji?. Gdy technologia AI zachowuje się w ten sposób, to może pchnąć trudne lokalne minima z przeszłości w kierunku bardziej optymalnych rozwiązań.
3. Nietradycyjne dane wejściowe. Sterowniki oparte na DRL zarządzają sygnałami wejściowymi oraz potrafią oceniać informacje z czujników, czego nie potrafią systemy zautomatyzowane. Jako przykład można podać, że sterownik oparty na AI potrafi analizować informacje wizualne dotyczące jakości produktu lub statusu sprzętu. Ponadto przy podejmowaniu działań związanych ze sterowaniem uwzględnia on kategoryczne alarmy i ostrzeżenia maszynowe. Sterowniki oparte na AI potrafią nawet wykorzystywać sygnały dźwiękowe oraz czujniki wibracji do podejmowania decyzji związanych z procesem, podobnie jak czynią to operatorzy. Zdolność do przetwarzania informacji wizualnych, takich jak wielkość błysku, ujawnia możliwości sterowników opartych na DRL i odróżnia je od innych.
Wdrażanie systemów sterowania opartych na technologii DRL
We wdrażaniu systemu sterowania opartego na DRL w zakładzie przemysłu procesowego wyróżniamy cztery etapy:
1.Przygotowanie modelu towarzyszącego symulacji dla mózgu.
2. Zaprojektowanie i trening mózgu.
3. Ocena przeszkolonego mózgu.
4. Wdrożenie systemu.
Wdrożenie sterowników opartych na technologii DRL wymaga symulacji lub środowiska ?cyfrowego bliźniaka? do wypróbowania w praktyce i nauczenia się sposobu podejmowania decyzji. Zaletą tej metody jest to, że mózg może się nauczyć tego, co jest uważane za ?dobre? dla systemu oraz tego, co jest ?złe? dla systemu, w celu osiągnięcia wyznaczonych celów. Biorąc pod uwagę, że rzeczywiste środowisko jest zmienne ? dalece bardziej niż to, co jest zwykle reprezentowane ? w granicach modelu symulacji procesu, zaś ilość symulacji wymaganej do przetrenowania mózgu w przestrzeni stanu operacji, zredukowane modele zamówień, które utrzymują podstawowe zasady fizyki, oferują najlepszą metodę szkolenia mózgu. Modele te oferują pewien sposób opracowywania złożonych symulacji procesów i są szybsze podczas uruchamiania, obydwa z nich umożliwiają bardziej efektywny sposób opracowywania mózgu. Symulatory procesu oparte na znacznikach mają takie zalety, jak: prostota projektowania, łatwość użycia oraz możliwość adaptacji do szerokiego spektrum potrzeb symulacji, które są dopasowane do wymagań modelu symulacji, wymaganego do treningu mózgów opartych na technologii DRL.
W naszej nowoczesnej erze, gdy panele sterownicze z lampkami kontrolnymi i wyłącznikami zostały zdegradowane do roli podrzędnej, symulatory oparte na znacznikach zyskały znacznie większe znaczenie w uczynieniu pracy inżyniera automatyka mniej uciążliwą. Wykorzystanie symulacji do przetestowania systemu podczas badań kontrolno-odbiorczych (factory acceptance test ? FAT) przed oddaniem go do eksploatacji, stały się od dziesięcioleci ?chlebem powszednim? oprogramowania symulacji procesu ? znacznie wcześniej przed pojawieniem się nowoczesnego żargonu z takimi pojęciami, jak ?cyfrowy bliźniak?. Te same symulatory mogą być wykorzystane w treningach silników AI do efektywnego sterowania procesami przemysłowymi. Aby to osiągnąć, symulatory muszą być w stanie działać w sposób rozproszony na wielu procesorach CPU i potencjalnie w chmurze. Potrzebne jest wiele przypadków symulacji do ćwiczenia, treningu czy oceny potencjalnych nowych algorytmów AI w realizacji równoległej. Po osiągnięciu tego systemy operatora-trenera, które zostały opracowane przy wykorzystaniu symulatorów opartych na znacznikach, mogą być wykorzystane do treningu silników AI opartych na technologii DRL.
Projektowanie i trening mózgu
Projektowanie mózgu w oparciu o proces, który ma być sterowany, jest sprawą zasadniczą w tworzeniu skutecznego, opartego na technologii DRL, optymalnego rozwiązania systemu automatyki. Mózg dla tego systemu może się składać nie tylko z koncepcji AI, ale także zawierać heurystyczną logikę programowaną oraz dobrze znane reguły. Gdy zostaną prawidłowo zebrane informacje od specjalisty z danej dziedziny (subject matter expert ? SME), możliwość implementacji mózgu przy wykorzystaniu tych informacji jest kluczem do sukcesu projektu.
Wykorzystanie wiedzy eksperta SME do tworzenia wnikliwych scenariuszy szkoleń jest sprawą kluczową dla opracowania solidnego systemu sterowania, opartego na technologii AI. Zanim silnik DRL będzie mógł być przetrenowany z modelem, człowiek musi zadecydować, jakie elementy tego modelu będą ujawnione mózgowi jako stan procesu. Stan procesu jest generalnie zbiorem zebranych pomierzonych wartości, dostępnych dla systemu automatyki. Typowymi przykładami są tu wartości poziomów, temperatur, punktów nastaw etc. Ujawnienie zbyt mało ze stanu procesu nie pozwoli mózgowi nauczyć się z wystarczających ilości danych. Gdy stan procesu jest zbyt duży, liczba wewnętrznych hiperparametrów może szybko wzrosnąć. To powoduje, że mózg nie może się uczyć tak szybko, jak to możliwe, ponieważ pewna część jego wysiłku jest tracona na wyobrażanie sobie, które części procesu są mniej ważne. Podobna sytuacja występuje w przypadku danych, które przepływają z mózgu do procesu. To człowiek musi zadecydować, którymi działaniami pozwoli mózgowi manipulować, co determinuje wysiłek wymagany do sterowania najbardziej pożądanym stanem procesu. Zwykle decyzja, co zawrzeć w działaniach dostępnych dla mózgu, jest łatwiejsza do podjęcia, ponieważ istnieje ?tylko? tak wiele zaworów sterujących lub innych mechanizmów dostępnych do sterowania procesem.
Decyzje na temat wielkości stanu procesu oraz przestrzeni akcji sprowadzają się do tego, które znaczniki symulacji powinny być zawarte w każdej ze struktur stanu i akcji. W symulatorze opartym na znacznikach zdefiniowane są stany i akcje. Wybierając znaczniki z listy oraz klikając odpowiedni przycisk, można dodać je do struktury stanu lub akcji wykorzystywanej przez mózg.
Definiowanie przestrzeni stanu i akcji
Inkling to język opracowany w celu wykorzystania w uczeniu agentów DRL wyrażania paradygmatu szkolenia, wykorzystując kompaktową, ekspresyjną i łatwą do zrozumienia składnię. Symulatory oparte na znacznikach mogą być zaprogramowane tak, aby automatycznie generowały kod Inkling, definiujący struktury stanu i akcji dla mózgu.
Po zdefiniowaniu struktur stanu i akcji należy zdefiniować cele treningu dla mózgu. Typowymi wymaganiami dla treningu mózgu są konstrukcje, takie jak: cel, kara, plan lekcji oraz scenariusze. W naszym przykładzie użytkownik potrzebuje napisać około 40 linii kodu, aby umożliwić mózgowi AI trening przy wykorzystaniu symulacji. Wygenerowany kod Inkling opisuje dwie ważne rzeczy dla powstającego mózgu ? co robić i jak to robić. Konkretnie kod ten został wygenerowany w celu regulacji poziomu w zbiorniku poprzez wykorzystanie regulacji dopływu cieczy oraz zaworów blokowych za zbiornikiem. Twierdzenie ?celu? opisuje pożądane wyniki akcji mózgu, zaś w tym przypadku rzeczywisty poziom cieczy w zbiorniku powinien być bliski punktowi nastawy.
Wybór odpowiednich lekcji i scenariuszy dopasowanych do celu jest wynikiem prawidłowej współpracy pomiędzy projektantem mózgu oraz specjalistą SME, bez przepełnienia zbiornika. Twierdzenia ?lekcji? i ?scenariusza? mówią mózgowi, jak ma nauczyć się osiągania tego celu. W tym przypadku scenariusz nakierowuje mózg na rozpoczęcie każdego epizodu treningowego od przypadkowego, ale mieszczącego się w pewnych granicach, poziomu w zbiorniku i punktu nastawy.
Tworzenie kodu w celu utworzenia mózgu AI
Skuteczny trening mózgu wymaga eksploracji bardzo dużej przestrzeni stanu operacji. Technologie chmury obliczeniowej pozwalają symulatorom na konteneryzację oraz uruchamianie w środowisku obliczeń masowo równoległych. Jednak gdy chcemy uzyskać dobre wyniki, to testowanie pomysłów w celu trenowania mózgu musi być uruchamiane przez symulator najpierw lokalnie ? w celu usunięcia bugów. Gdy użytkownik będzie już usatysfakcjonowany, symulator może zostać skonteneryzowany i uruchomiony w chmurze. Typowe sesje szkoleniowe mózgu mogą zawierać dowolną wartość pomiędzy 300 000 i 1 000 000 iteracji szkoleniowych. Postęp szkolenia mózgu może być łatwo pokazany na ekranie, na przykład za pomocą prostego demonstratora zbiornika. Zasoby w chmurze są w stanie wytrenować symulator wymagający pół miliona iteracji w czasie krótszym od jednej godziny.
Wykres graficzny może demonstrować postęp treningu mózgu jako funkcję liczby iteracji. Parametr ?Satysfakcja celu? jest ruchomą średnią epizodów szkoleniowych, co daje w wyniku całkowitą liczbę spełnianych celów. Typowo wymaga się wartości satysfakcji celu, która osiąga 100%, gdy uzyskiwane jest efektywne sterowanie za pomocą mózgu dla wszystkich scenariuszy, które on przećwiczył.
Ocena wytrenowanego mózgu
Po wytrenowaniu mózgu musi być on przetestowany w celu oceny jego efektywności. Podczas tej fazy mózg jest uruchamiany na modelu w celu oceny jego zachowania. Jednak tym razem scenariusze powinny być zmieniane w symulacji ? wykonując testy na mózgu z sytuacjami, których mógł nie napotkać podczas oryginalnych rund testowania.
Na przykład: jeśli jakaś wielkość fizyczna jest regulowana przez kombinację trzech zaworów, to co się dzieje, gdy jeden z nich jest obecnie niedostępny? Czy mózg może zrobić coś sensownego, jeśli jeden z zaworów zakleszczył się lub został zdemontowany w celu konserwacji? To właśnie w takiej sytuacji mogą być zaadaptowane modele symulatora opracowane dla systemów operatora-trenera lub testowania systemu sterowania. Tak jak w przypadku testowania każdego systemu sterowania, sterownik AI musi przejść przez rygorystyczną procedurę formalnego testowania. Symulator z planem zautomatyzowanego testu może znacznie zredukować ilość pracy wymaganej do oceny ?wytrenowanego? mózgu.
Wdrożenie mózgu
Gdy mózg przejdzie już pozytywnie test oceniający, może zostać wdrożony. Co prawda istnieje wiele trybów wdrażania, jednak unikatową zaletą wykorzystania symulatorów opartych na znacznikach do testowania systemów sterowania jest to, że mogą one być użyte jako oprogramowanie pośredniczące (middleware) do zintegrowania mózgu z systemem sterowania. Ponieważ istnieje duży wybór dostępnych sterowników programowych dla różnych systemów sterowania, integracja mózgu ze specyficznym dla klienta środowiskiem fabrycznym jest znacznie łatwiejsza, niż użycie rozwiązania dopasowanego do klienta. Ponadto z perspektywy konserwacji oprogramowania minimalizowanie liczby wdrożeń dopasowanych do klienta jest zawsze cenione.
Przypadki użycia sztucznej inteligencji
Mózgi oparte na technologii DRL zostały zaprojektowane dla ponad 100 przypadków użycia (use cases) i wdrożone w bardzo różnych gałęziach przemysłu oraz rynkach pionowych. Przykłady opisano w wersji online tego artykułu.
Kence Anderson, główny Program Manager ds. Systemów Autonomicznych w firmie Microsoft, Winston Jenks, dyrektor techniczny ds. Inteligencji Stosowanej w firmie Wood, dr Prabu Parthasarathy, wiceprezes ds. Inteligencji Stosowanej w firmie Wood.
