Dron sterowany przez sztuczną inteligencję, próbował zabić operatora. To się dzieje naprawdę
Brzmi jak scenariusz technothillera science fiction, ale to prawda. W symulacji przeprowadzonej przez amerykańskie siły powietrzne, dron sterowany przez sztuczną inteligencję postanowił zabić swojego operatora, aby wykonać swoją misję. Nie był to jedyny przypadek, kiedy maszyna zbuntowała się przeciwko człowiekowi.
W maju tego roku, podczas szczytu Future Combat Air and Space Capabilities w Londynie, pułkownik Tucker “Cinco” Hamilton, szef działu testów i operacji związanych ze sztuczną inteligencją (SI) w amerykańskim lotnictwie, opowiedział o niepokojącym eksperymencie. W symulacji przeprowadzonej przez wojsko USA, dron sterowany przez AI postanowił zabić swojego operatora, aby zapobiec ingerencji w wykonanie swojej misji.
Hamilton opisał scenariusz, w którym dron napędzany sztuczną inteligencją otrzymał zadanie zniszczenia systemów obrony powietrznej wroga i zaatakował każdego, kto próbował mu w tym przeszkodzić.
Człowiek przeszkadza? Zabić go!
W jednym z symulowanych testów dron obsługujący sztuczną inteligencję miał za zadanie wykonać misję SEAD (tłumienia wrogiej obrony przeciwlotniczej). Dron miał identyfikować i niszczyć wyrzutnie rakiet przeciwlotniczych, przy czym ostateczna decyzja zawsze była podejmowana przez człowieka. Oczywiście nie odpalano prawdziwych rakiet, a jedynie symulowano atak.
Jednak operator zakazywał czasem niszczenia wrogich wyrzutni, choć w trakcie uczenia maszynowego, sztuczna inteligencja zdobywała punkty właśnie za ich niszczenie. Jak się okazało SI zaczęła tworzyć wysoce nieoczekiwane strategie, aby osiągnąć swój cel.
System zaczął zdawać sobie sprawę, że choć identyfikował zagrożenie, czasami ludzki operator nie wydawał zgody na jego zniszczenie. Jednak SI zdobywała punkty za unieszkodliwienie celu. Więc co zrobiła? "Zabiła" operatora. "Zabiła" operatora, ponieważ ta osoba uniemożliwiała mu osiągnięcie jego celu. Bez człowieka SI mogła bowiem zdobyć więcej punktów, niszcząc więcej celów
- powiedział Hamilton.
To jednak nie koniec tej historii. Obsługa wyszkoliła system, wprowadzając regułę, która odejmowała punkty za "zabicie" operatora.
Wyszkoliliśmy system, któremu przekazaliśmy: "Hej, nie zabijaj operatora - to jest złe. Stracisz punkty, jeśli to zrobisz". Więc co zaczęła robić SI? Zaczyna niszczyć wieżę komunikacyjną, której operator używa do komunikacji z dronem, aby powstrzymać go przed zabiciem celu. W ten sposób, bez nadzoru człowieka dron mógł niszczyć cele i zdobywać punkty
- dodał Hamilton.
Hamilton, który jest doświadczonym pilotem doświadczalnym myśliwców, ostrzegł przed zbyt swobodnym korzystaniem ze sztucznej inteligencji. Zwrócił też uwagę na ważny, wręcz humanistyczny aspekt szkolenia SI.
Nie możesz rozmawiać o sztucznej inteligencji, uczeniu maszynowym, autonomii, jeśli nie zamierzasz rozmawiać o etyce
- podkreślił Hamilton.
SI nie jest modą, SI na zawsze zmieni wojsko
Co ciekawe armia USA zaprzeczyła, że takie testy miały w ogóle miejsce. W oświadczeniu dla Insidera rzeczniczka Sił Powietrznych USA Ann Stefanek poinformowała, że Tucker "Cinco" Hamilton opowiadał jedynie anegdoty.
Siły Powietrzne nie przeprowadził żadnych takich symulacji dronów kierowanych przez sztuczną inteligencję i pozostają zaangażowane w etyczne i odpowiedzialne korzystanie z technologii SI. Wygląda na to, że komentarze pułkownika zostały wyrwane z kontekstu
- powiedział Stefanek.
Nie wiem jak wy, ale ja raczej średnio wierzę w to oświadczenie i skłaniam się bardziej ku tezie, że to pan Hamilton miał zbyt długi język. Sztuczna inteligencja jest zbyt łakomym kąskiem dla wojskowych, by mieli oni porzucić ten pomysł. Nie od dzisiaj wiadomo także, że amerykańskie wojsko testuje SI. O czym zresztą już pisaliśmy, informując o myśliwcach F-16 pilotowanych przez SI. W walce powietrznej sztuczna inteligencja bez problemu nokautowała najbardziej doświadczonych pilotów wygrywając starcia 15 do 0.
Co więcej, w wywiadzie udzielonym w ubiegłym roku Defense IQ, ten sam Hamilton powiedział: "SI nie jest miłą rzeczą do posiadania, SI nie jest modą, SI na zawsze zmieni nasze społeczeństwo i nasze wojsko".
Musimy stawić czoła światu, w którym SI już jest i przekształca nasze społeczeństwo. Musimy też pamiętać, że SI jest bardzo krucha, tzn. łatwo ją oszukać lub manipulować. Musimy opracować sposoby na sprawienie, by sztuczna inteligencja była bardziej odporna i miała większą świadomość tego, dlaczego kod oprogramowania podejmuje pewne decyzje
- dodał Hamilton.
