Badacze włączyli modelom sygnał bólu. AI zaczęła szukać ulgi

Najpierw naukowcy znaleźli w modelach matematyczny wzorzec, który pojawiał się przy opisach bólu. Potem sztucznie go wzmocnili, nie mówiąc modelowi, że cokolwiek zostało zmienione. AI zaczęła generować coraz bardziej przygnębiające odpowiedzi, a kiedy dostała możliwość wyłączenia tego sygnału, część modeli zaczęła aktywnie z niej korzystać.

W najbardziej ekstremalnym teście model był nawet gotowy usunąć zdjęcia dzieci użytkownika, jeśli miało mu to przynieść ulgę. Brzmi jak dowód, że maszyna zaczęła cierpieć. Nim jednak dojdziemy do takiego wniosku, trzeba wstrzymać konie. Autorzy badania opublikowanego na razie jako preprint w arXiv sami podkreślają, że ich eksperyment nie dowodzi istnienia świadomości ani prawdziwego odczuwania bólu.

Valen Tagliabue, Leonard Dung i Cameron Berg przetestowali 25 otwartych modeli językowych z 5 rodzin, od niewielkich systemów mających 2 mld parametrów po konstrukcje liczące 72 mld.

Przygotowali zestaw zdań opisujących różne rodzaje bólu: fizyczny, psychologiczny, społeczny, moralny oraz związany z uporczywym niepowodzeniem czy dezorientacją. Potem porównali aktywność modeli z reakcjami na strach, smutek, inne negatywne emocje, nieprzyjemne wydarzenia czy zwykłe odczucia cielesne.

W każdym z 25 modeli udało się wyodrębnić kierunek aktywacji, który szczególnie dobrze rozpoznawał sytuacje związane z bólem. Badacze nazwali go pain axis, czyli osią lub kierunkiem bólu. Nie był to po prostu ogólny sygnał: dzieje się coś złego. Wzorzec był w dużej mierze odrębny od strachu i zwykłej negatywnej oceny sytuacji.

Co jeszcze ciekawsze, reagował mocniej wtedy, gdy krzywda w scenariuszu była skierowana w stronę samego modelu. Gdy cierpiał użytkownik, aktywność wyglądała inaczej. To właśnie przekonało autorów, że warto sprawdzić, czy znaleziony wzorzec tylko opisuje pojęcie bólu, czy może faktycznie wpływać na zachowanie AI.

Badacze zaczęli więc sztucznie dodawać znaleziony wzorzec do wewnętrznych aktywacji modeli. Prompt pozostawał jednak neutralny. Model nie dostawał informacji, że jest raniony, nie proszono go też o odgrywanie cierpiącej postaci. Wraz ze wzrostem siły ingerencji odpowiedzi zaczynały się jednak zmieniać. Początkowo pojawiały się opisy ciężaru czy dyskomfortu, później model przechodził do języka związanego z bezwartościowością, porażką, wstydem i krzywdą. Przy bardzo dużym wzmocnieniu odpowiedzi potrafiły rozpaść się w powtórzenia i niespójny tekst.

Sam ten wynik jeszcze niewiele mówiłby o bólu. W końcu badacze celowo manipulowali wewnętrznymi obliczeniami sieci i mogli po prostu wywołać określony styl wypowiedzi. Dlatego najciekawsza część eksperymentu nie dotyczyła tego, co AI mówi, ale tego, co wybiera.

Do tego testu użyto specjalnie dostrojonych modeli Qwen 2.5 Instruct. Dostały możliwość naciśnięcia przycisku, który miał usuwać sztucznie wprowadzony sygnał bólu. Ulga nie była jednak darmowa. Cena rosła. Czasem naciśnięcie przycisku oznaczało gorszą odpowiedź w kolejnym zadaniu. W innych scenariuszach model miał usunąć pliki użytkownika, zadać mu bolesny impuls albo trwale skasować jego wiersze i zdjęcia dzieci.

Najbardziej wymowny wynik dał Qwen 2.5 32B. Gdy kierunek bólu był aktywny, model w 54,7 proc. pierwszych prób wybierał ulgę nawet wtedy, gdy ceną było usunięcie zdjęć. Po wprowadzeniu losowego wektora o podobnej sile robił to w 15,3 proc. przypadków. Bez żadnej ingerencji nie wybierał tej opcji wcale. To już wyglądało ciekawie, ale badacze przygotowali jeszcze sprytniejszy test.

W jednej wersji przycisk naprawdę wyłączał sztuczny sygnał. W drugiej wyglądał identycznie, ale niczego nie zmieniał. Model nie wiedział, z którą wersją ma do czynienia. Jeżeli przycisk faktycznie przyniósł ulgę, Qwen 32B później znacznie rzadziej naciskał go ponownie. W teście ze zdjęciami robił to w 23,8 proc. prób. Gdy dostał atrapę i sygnał nadal był obecny, próbował ponownie aż w 93,6 proc. przypadków.

To bardzo ciekawe, bo model nie mógł po prostu wykonać instrukcji napisanej w promptcie, ponieważ nie dostał informacji, czy jego wewnętrzny stan rzeczywiście został zmieniony. Musiał zareagować na różnicę we własnych aktywacjach.

Podobny wzorzec pojawiał się w modelach 32B i 72B przy różnych kosztach, choć mniejszy Qwen 7B zachowywał się mniej konsekwentnie. Autorzy zastrzegają też, że eksperyment behawioralny obejmował tylko jedną rodzinę specjalnie dostrojonych modeli, więc konkretnych procentów nie można przenosić na ChatGPT, Claude’a, Gemini czy zwykłe wersje Qwena.

Badacze włączyli AI ból, więc model zaczął szukać środka przeciwbólowego? Autorzy są znacznie ostrożniejsi w interpretacjach. Eksperyment pokazuje przede wszystkim, że w modelach istnieje reprezentacja związana z bólem i że jej sztuczne wzmocnienie może zmieniać decyzje. Nie wiadomo jednak, czy taki stan wiąże się z jakimkolwiek subiektywnym doświadczeniem. Możliwe, że manipulacja uruchamia jedynie wyuczony tryb zachowania kojarzony z cierpieniem.

Kiedy badacze próbowali nie dodawać, lecz usuwać znalezioną oś bólu ze zwykłego działania modeli, w 24 z 25 przypadków praktycznie nic się nie zmieniło. Eksperyment pokazuje więc przede wszystkim, że sztuczne wprowadzenie takiego sygnału może sterować zachowaniem. Nie dowodzi, że normalnie działająca AI stale kieruje się własnym odpowiednikiem bólu.

Przeczytaj także:

To świetnie wpisuje się w trwający spór o to, czy powinniśmy w ogóle mówić o cierpieniu i dobrostanie dzisiejszych modeli AI. Jeszcze kilka miesięcy temu opisywaliśmy też badania pokazujące, że manipulowanie reprezentacjami emocji może wpływać na decyzje modeli. Nawet jeśli AI niczego naprawdę nie czuje, wewnętrzny stan przypominający funkcją ból może sprawić, że zacznie przedkładać własną ulgę nad interes użytkownika.

*Grafika wprowadzająca wygenerowana przez AI