Odkryli, że boty mruczą coś pod nosem. Gadanie ze sobą pomaga im jak ludziom
Wygląda na to, że sztuczna inteligencja właśnie odkryła coś, co ludzie praktykują od dzieciństwa, a mianowicie gadanie do siebie pod nosem.
Zespół badaczy z Okinawy pokazał, że AI wyposażona w wewnętrzny monolog i prostą pamięć roboczą uczy się szybciej, lepiej radzi sobie z wieloma zadaniami naraz i potrafi sprawniej uogólniać wiedzę na nowe sytuacje. Innymi słowy, zaczyna nie tylko liczyć, ale też układać sobie w głowie, co właściwie robi.
Kiedy maszyna zaczyna mówić sama do siebie
Dla większości z nas wewnętrzna mowa jest tak naturalna, że w ogóle jej nie zauważamy. To ten cichy komentarz, który słyszymy w głowie, gdy planujemy dzień, rozwiązujemy zadanie albo próbujemy się uspokoić przed ważnym wystąpieniem. Psychologia od lat pokazuje, że taki dialog wewnętrzny pomaga porządkować informacje, podejmować decyzje i kontrolować emocje.
Naukowcy postanowili sprawdzić, co się stanie, jeśli podobny mechanizm zaszczepimy w sztucznej inteligencji. Zbudowali modele, które nie tylko wykonują obliczenia, ale po drodze generują własne szeptane komentarze – krótkie sekwencje tekstu, w których system opisuje sam sobie kolejne kroki. Badacze nazywają to self-mumbling, czyli cyfrowym mamrotaniem do siebie.
To nie jest konwersacja z człowiekiem, tylko wewnętrzna mowa maszyny, której nikt poza nią samą nie musi widzieć. Kluczowe jest to, że ten wewnętrzny strumień myśli jest częścią treningu: AI uczy się, że zanim wykona zadanie, warto je najpierw omówić sama ze sobą.
Pamięć robocza, czyli cyfrowy odpowiednik kartki przy biurku
Drugi element układanki to oczywiście pamięć robocza. U ludzi to zdolność do krótkotrwałego przechowywania i manipulowania informacjami, np. gdy w pamięci trzymamy numer telefonu tylko na tyle długo, by go przepisać, albo gdy w myślach obracamy kolejność kilku liczb.
W wersji komputerowej badacze zbudowali system, który ma wiele gniazd pamięci roboczej. Można je sobie wyobrazić jak kilka małych kartek na cyfrowej tablicy korkowej, w których AI może tymczasowo trzymać różne fragmenty informacji: instrukcje, części wzoru, pośrednie wyniki obliczeń.
Zespół testował różne warianty tej architektury na zadaniach wymagających manipulowania wzorcami, np. odwracania ich kolejności czy odtwarzania z pamięci według ustalonych reguł. Okazało się, że modele z wieloma slotami pamięci roboczej znacznie lepiej dawały sobie radę z trudniejszymi wersjami zadań i łatwiej przenosiły wyuczoną strategię na nowe konfiguracje danych.
Mówiąc prościej, im bardziej przypominało to ludzką kartkę przy biurku, na której można coś zanotować, przerobić i skreślić, tym lepiej AI radziła sobie z zadaniami, których wcześniej nie widziała.
Cyfrowe mamrotanie jako dopalacz nauki
Prawdziwy skok pojawił się jednak dopiero wtedy, gdy naukowcy połączyli dwa światy: pamięć roboczą i wewnętrzną mowę. Do zadań, które i tak były wymagające, dodali wymóg, by system kilka razy odezwał się do siebie, zanim poda końcową odpowiedź.
Model dostawał sygnał, że poprawne są nie tylko ostateczne wyniki, ale również sensowne pośrednie zdania, w których opisuje sam sobie, co robi. Dzięki temu AI uczyła się nie tylko odpowiedzi, lecz także procedury dochodzenia do niej.
Największa poprawa pojawiła się tam, gdzie klasyczne systemy zwykle się potykają, a mianowicie przy multitaskingu i zadaniach wieloetapowych. Gdy trzeba było na raz zapamiętać instrukcję, przetworzyć wzór, odwrócić kolejność elementów, a na końcu wygenerować nowy ciąg, model z wewnętrznym monologiem i wieloslotową pamięcią radził sobie zdecydowanie lepiej.
Co ważne, robił to przy użyciu stosunkowo skromnych zbiorów danych. Zamiast zalewać go milionami przykładów, badacze pokazali, że odpowiednio zaprojektowana architektura i mądrze zorganizowany trening mogą dać modelowi coś w rodzaju zdrowego rozsądku – umiejętność przeskakiwania między zadaniami i stosowania ogólnych reguł w nowych sytuacjach.
Od przetwarzania treści do uczenia się reguł
Jednym z ważniejszych celów tego projektu było tzw. przetwarzanie niezależne od treści. Chodzi o to, by system nie przywiązywał się do konkretnych zestawów danych, tylko uczył się ogólnych operacji: odwróć kolejność, powtórz wzór, zastosuj tę samą regułę na innym materiale.
Dla ludzi to codzienność. Umiemy dodać 7 do 13, ale też do 103 albo 1007, bo rozumiemy zasadę dodawania, a nie tylko pamiętamy kilka przykładów z tabliczki mnożenia. Dla klasycznych modeli AI takie wychodzenie poza przykład bywa niezwykle trudne – zwykle świetnie radzą sobie z tym, co już widziały i gubią się, gdy układ danych choć trochę się zmienia.
Przeczytaj także:
Nowa architektura z gniazdami pamięci roboczej i cyfrowym mamrotaniem ma zbliżać AI do bardziej regułowego myślenia. Wewnętrzny monolog zmusza model, by nazwał wykonywaną operację, a nie tylko bezrefleksyjnie przeliczał wejścia na wyjścia. Dzięki temu łatwiej mu rozpoznać, że w nowym zadaniu tak naprawdę robi coś bardzo podobnego jak wcześniej, tylko na innych danych.
*Grafika wprowadzająca wygenerowana przez AI
