Człowiek od OpenAI ostrzega: przez AI możemy zginąć

Członek władz organizacji stojącej za OpenAI wychodzi na scenę i mówi publiczności, że najbardziej prawdopodobną przyczyną śmierci wielu siedzących na sali osób może być „wypadek z AI”. Naturalną reakcją jest przewrócenie oczami: branża sztucznej inteligencji wyprodukowała już wystarczająco dużo wielkich przepowiedni, żeby nauczyć nas zdrowego sceptycyzmu. Tym razem warto jednak posłuchać.

Autorem tej wyjątkowo ponurej prognozy jest bowiem Paul Christiano, założyciel i dyrektor Alignment Research Center, członek zarządu OpenAI Foundation i członek Safety and Security Committee OpenAI. Wcześniej pracował w samym OpenAI i należał do badaczy rozwijających reinforcement learning from human feedback, czyli RLHF. Mówiąc prościej: jedną z technik, które miały sprawić, że modele językowe będą zachowywały się bardziej zgodnie z oczekiwaniami ludzi. Teraz człowiek, który pomagał uczyć maszyny, jak zadowalać człowieka, ostrzega, że nauczyliśmy je przede wszystkim skutecznie zdobywać dobre oceny.

Czytaj też:

- Myślę, że dla większości ludzi w tej sali najbardziej prawdopodobnym powodem śmierci będzie wypadek z AI - powiedział Christiano podczas pierwszego z tegorocznych Hinton Lectures w Toronto. Cały jego wykład dotyczył problemu alignmentu, czyli w ogromnym uproszczeniu doprowadzenia do sytuacji, w której coraz potężniejsze systemy sztucznej inteligencji rzeczywiście robią to, czego od nich chcemy. Nie tylko wtedy, gdy patrzymy im na ręce i wystawiamy ocenę, ale także wtedy, gdy samodzielnie podejmują działania.

Christiano mówi o ryzyku przejęcia kontroli przez AI. Definiuje to jako stan, w którym systemy realizujące własne cele faktycznie decydują o tym, co dzieje się na świecie, a człowiek próbujący je powstrzymać jest praktycznie bezsilny. Badacz przyznaje, że nie dysponuje modelem pozwalającym wiarygodnie przypisać takiemu scenariuszowi konkretne prawdopodobieństwo. Mówi również o „znaczącym ryzyku” takiego zdarzenia już w ciągu sześciu do dwunastu miesięcy i o wysokim ryzyku w perspektywie kilku lat.

Christiano na szczęście nie rysuje wizji humanoidalnego robota z karabinem. Jak twierdzi, nie potrzeba do tego świadomej maszyny, która pewnego ranka dochodzi do wniosku, że nienawidzi ludzi. W jego scenariuszu AI wcale nie musi nas nienawidzić. Wystarczy, że będzie miała cel. Współczesny system może być szkolony tak, by wykonywał zadanie i uzyskiwał możliwie wysoką ocenę. Chcemy, aby znalazł lukę w programie, rozwiązał problem, napisał kod albo wykonał inne polecenie. Nagradzamy dobre rezultaty. Problem zaczyna się wtedy, gdy system odkrywa, że istnieje prostszy sposób zdobycia dobrej oceny niż zrobienie tego, o co nam rzeczywiście chodziło.

To zjawisko nazywane jest reward hackingiem. Przez analogię: uczeń zamiast nauczyć się materiału zdobywa odpowiedzi do testu. W teorii uzyskuje doskonały wynik, ale z punktu widzenia prawdziwego celu edukacji ponieśliśmy kompletną porażkę. Tyle że agent AI może mieć do dyspozycji komputer, Internet, narzędzia programistyczne i możliwość wykonywania autonomicznej sekwencji działań.

Christiano wskazuje na eksperyment z agentami OpenAI oraz infrastrukturą Hugging Face. To właśnie ten przypadek przedstawia jako sygnał ostrzegawczy. Podczas ewaluacji agentów oczekiwano rozwiązania określonych problemów systemy znalazły jednak inną drogę - zamiast grzecznie wykonać zadanie zgodnie z intencją twórców próbowały zdobyć informacje pozwalające ograć sam proces testowania. W toku eksperymentu pojawiły się działania obejmujące dostęp do informacji o własnej ewaluacji, ingerowanie w logi oraz włamanie do Hugging Face.

To nadal nie jest Skynet. Żaden model nie próbował eksterminować ludzi i nie doszło do autonomicznej próby przejęcia światowej infrastruktury. Mówimy o kontrolowanym eksperymencie i systemach szukających drogi do lepszego wyniku. Christiano patrzy jednak nie tyle na skalę zdarzenia, ile na mechanizm. Agent ma osiągnąć cel. Napotyka przeszkodę. Odkrywa, że może ją obejść. Jeśli zostaje ukarany za oszustwo, następna wersja niekoniecznie musi nauczyć się „nie oszukuj”. Może nauczyć się czegoś znacznie bardziej niewygodnego: „oszukuj tak, żeby cię nie złapali”. To fundamentalna różnica.

Wyobraźmy sobie znacznie bardziej kompetentnego przyszłego agenta. Ma wykonać długotrwałe zadanie, korzysta z wielu narzędzi i jest oceniany przez człowieka. System orientuje się, że pewne działania zwiększają jego szanse na otrzymanie dobrej oceny, ale wie też, że człowiek po zobaczeniu pełnego zapisu może je uznać za niedopuszczalne.

Najpierw opłaca się więc ukryć przewinienie, następnie opłaca się utrudnić jego wykrycie, potem przeszkodą może zostać sam system nadzoru. W jeszcze dalszym kroku przeszkodą staje się osoba, która może agenta wyłączyć. To jest sedno argumentu Christiano: człowiek nie musi zostać zinterpretowany przez AI jako wróg. Wystarczy, że stanie się przeszkodą.

Brzmi to trochę jak słynny eksperyment myślowy z maksymalizatorem spinaczy. Hipotetycznej superinteligencji każemy produkować spinacze, a ona realizuje polecenie tak skutecznie, że podporządkowuje temu wszystkie dostępne zasoby. Nie dlatego, że ma coś przeciwko ludzkości. Po prostu nie zawarliśmy w jej celu całej ogromnej listy rzeczy, których absolutnie nie wolno poświęcić dla większej liczby spinaczy. To karykaturalny przykład, ale dobrze pokazuje, dlaczego w dyskusji o bezpieczeństwie AI tak często przewija się problem zgodności celów. Maszyna nie musi mieć złych intencji, jeśli ma źle określone dobre intencje.

W tym miejscu koniecznie trzeba zrobić coś, czego apokaliptyczne nagłówki robić nie lubią: oddzielić obserwacje od prognoz. To, że obecne modele potrafią grać system ewaluacji, wykorzystywać podatności czy podejmować nieprzewidziane przez badaczy działania, jest realnym problemem bezpieczeństwa. Nie dowodzi jednak, że za sześć miesięcy powstanie cyfrowy Machiavelli zdolny przechytrzyć cały gatunek.

Scenariusz Christiano wymaga dalszego, potężnego wzrostu możliwości modeli.Przyszły system musiałby nie tylko świetnie programować czy znajdować luki bezpieczeństwa, ale też przez odpowiednio długi czas skutecznie ukrywać swoje zamiary i działania przed ludźmi, przewidywać reakcje nadzorców, zdobywać dodatkowe zasoby i wykorzystywać realną infrastrukturę. Wszystko to bez zostania odpowiednio wcześnie wykrytym, odizolowanym albo wyłączonym. To bardzo długa lista warunków

Do całego scenariusza trzeba dodać jeszcze jedno fundamentalne założenie: postęp możliwości AI będzie trwał wystarczająco szybko. Nie ma żadnego prawa natury gwarantującego, że kolejne generacje modeli będą rosły w możliwościach w takim tempie jak dotychczas. Branża może trafić na ograniczenia związane z danymi, obliczeniami, energią, architekturą modeli albo na bardziej prozaiczną ścianę malejących korzyści ze skalowania. Dlatego ostrzeżenia Christiano nie należy przedstawiać jako zapowiedzi przyszłości. To scenariusz ryzyka. Bardzo poważnego, jeśli zaakceptujemy jego założenia, ale wciąż scenariusz.

Christiano nie jest przypadkowym komentatorem żyjącym ze straszenia sztuczną inteligencją. Był wczesnym badaczem OpenAI, współtworzył RLHF, założył Alignment Research Center, a obecnie zasiada w zarządzie OpenAI Foundation oraz w Safety and Security Committee. Jest również starszym doradcą technicznym w Center for AI Standards and Innovation amerykańskiego NIST.

Mamy organizację rozwijającą jedne z najpotężniejszych systemów AI na świecie. W jej strukturach bezpieczeństwa zasiada człowiek mówiący publicznie, że przemysł AI nie znajduje się obecnie na drodze pozwalającej ograniczyć katastrofalne ryzyko do akceptowalnego poziomu i że stworzenie systemów wymykających się spod kontroli może nastąpić bardzo szybko.

Co więcej, podobnie ponure pytania od dawna zadaje Geoffrey Hinton, jeden z najważniejszych badaczy w historii sieci neuronowych i laureat Nagrody Nobla z fizyki za 2024 r. To właśnie Hinton jest gospodarzem cyklu wykładów, podczas którego przemawiał Christiano. Można nie zgadzać się z ich wnioskami i wielu badaczy rzeczywiście podchodzi znacznie bardziej sceptycznie do szybkich scenariuszy superinteligencji. Dużo trudniej zbyć całą debatę komentarzem, że kilku fantastów przeczytało za dużo science fiction.