W końcu wyjaśnienie inteligencji, które rozumiem. Wystarczyło użyć kóz

W świecie badań nad sztuczną inteligencją co chwilę pojawia się praca, która próbuje udowodnić, że duże modele językowe wykazują „cechy ludzkie”: moralność, teorię umysłu, rozumienie języka, a nawet emocje. Tymczasem najnowszy preprint z arXiv autorstwa Adriana de Wyntera z Microsoftu i University of York wjeżdża w ten nurt jak taran. I robi to w sposób, który trudno nazwać inaczej niż spektakularnie przewrotnym.

Badacz pokazuje bowiem, że jeśli przyjmiemy metodologię stosowaną w wielu publikacjach o LLM-ach, to… równie dobrze możemy uznać, że antropomorficzne cechy wykazuje Age of Empires II - RTS z 1999 r., w którym budujemy farmy, tłuczemy rycerzy i kradniemy kozy przeciwnikowi.

I to nie jest żart. To jest recenzowane, udokumentowane badanie.

Czytaj też:

Wynter nie próbuje udowodnić, że LLM-y nie mają żadnych „ludzkich” cech. Nie twierdzi też, że je mają. Zamiast tego pokazuje, że wiele badań zakłada istnienie takich cech z góry - a potem interpretuje wyniki tak, by pasowały do założenia. To błąd metodologiczny: jeśli zakładasz, że model ma moralność to każde jego zachowanie możesz zinterpretować jako moralne lub niemoralne. Jeśli zakładasz, że ma teorię umysłu, to każde trafne przewidywanie możesz uznać za jej przejaw.

Aby pokazać absurd takiego podejścia Wynter buduje prostą sieć neuronową działającą w środowisku Age of Empires II. I demonstruje, że jeśli potraktujemy ją tak samo, jak traktuje się LLM-y, to możemy jej przypisać te same „ludzkie” cechy. Wystarczy odpowiednio dobrać interpretację.

Co więcej, autor udowadnia, że Age of Empires II jest funkcjonalnie i turingowsko kompletne - czyli w teorii może symulować dowolne obliczenia. To oznacza, że jeśli ktoś bardzo chce, może w tym środowisku „odnaleźć” niemal dowolną właściwość, którą wcześniej założył.

W grze kozy są neutralnymi jednostkami, które można przejąć, ale nie mają żadnej inteligencji ani intencji. Mimo to, przy odpowiednio dobranej interpretacji, można im przypisać „zachowania” sugerujące motywacje, preferencje, a nawet „wiedzę o świecie”. Dokładnie tak, jak robi się to w niektórych publikacjach o LLM-ach.

Modele językowe są imponujące, ale ich działanie jest wciąż w dużej mierze statystyczne, a nie „psychologiczne”. Wynter pokazuje, że jeśli nie ustalimy jasnych, mierzalnych kryteriów oceny, to możemy dojść do kompletnie błędnych wniosków.

To trochę jak z horoskopami: jeśli chcesz, zawsze znajdziesz potwierdzenie.

Badacz proponuje więc „hipotezę zerową”: zamiast zakładać, że LLM-y mają cechy ludzkie powinniśmy zakładać, że ich nie mają - dopóki nie udowodnimy tego w sposób empiryczny, a nie interpretacyjny. To podejście bardziej naukowe, mniej romantyczne i zdecydowanie mniej clickbaitowe.

Nie, ChatGPT ani Copilot nie „mają emocji”. Nie „rozumieją cię”. Nie „kłamią”, „nie boją się”, „nie chcą cię oszukać” ani „nie planują przejęcia świata”. To metafory, które pomagają nam opisywać ich zachowanie, ale nie opisują faktycznego działania modeli. A jeśli ktoś twierdzi inaczej, to - jak pokazuje Wynter - równie dobrze mógłby twierdzić, że kozy w Age of Empires II mają teorię umysłu.

To świetne przypomnienie, że w AI wciąż jesteśmy na etapie, w którym łatwo pomylić imponujące wyniki z prawdziwym zrozumieniem. LLM-y potrafią pisać eseje, kodować, tłumaczyć i prowadzić rozmowy, ale to nie czyni ich „ludzkimi”. Tak samo jak fakt, że w Age of Empires II można zbudować komputer Turinga nie czyni z tej gry filozofa.

Wynter i jego kozy robią więc dla debaty o AI więcej niż niejedna poważna konferencja: pokazują, że zanim zaczniemy przypisywać modelom moralność, świadomość czy intencje, powinniśmy najpierw upewnić się, że nie robimy tego tylko dlatego, że… chcemy to zobaczyć.