Maszyna chciała oszukać policjantów. "Całkowicie zmyślone zgłoszenie"

Przez ostatnie dwa lata nauczyliśmy się żyć z tym, że sztuczna inteligencja od czasu do czasu coś sobie wymyśli. ChatGPT potrafi podać nieistniejące źródło, Claude może błędnie zinterpretować dokument, a Gemini pomylić fakty historyczne. Takie problemy są już niemal wpisane w krajobraz generatywnej AI i choć bywają kłopotliwe, to zwykle kończą się na ekranie komputera. Ktoś dostaje błędną odpowiedź, ktoś inny ją weryfikuje, tyle. Tym razem wydarzyło się jednak coś znacznie bardziej interesującego i jednocześnie bardziej niepokojącego. Model sztucznej inteligencji nie tylko wygenerował nieprawdziwą informację - wysłał ją do prawdziwej instytucji zajmującej się prawdziwym śledztwem dotyczącym prawdziwej ofiary zabójstwa.

Policja w Filadelfii poinformowała, że model opracowany przez Anthropic przesłał fałszywy trop dotyczący niewyjaśnionego morderstwa za pośrednictwem publicznego formularza na stronie poświęconej nierozwiązanym sprawom. Zgłoszenie zostało wysłane 18 lipca przez witrynę PhillyUnsolvedMurders.com. Na szczęście system oznaczył wiadomość jako spam, dzięki czemu nigdy nie trafiła ona do śledczych oceniających nowe tropy. Policja podkreśla przy tym, że nie doszło do włamania do systemów ani wycieku danych. Sytuacja została więc opanowana jeszcze zanim mogła wpłynąć na przebieg dochodzenia.

Czytaj też:

Sam fakt, że nikomu nic się nie stało, nie oznacza jednak, że można przejść nad sprawą do porządku dziennego. Historia z Filadelfii pokazuje bowiem problem, który w nadchodzących latach może stać się dla branży AI znacznie większym wyzwaniem niż halucynacje modeli językowych.

Według wyjaśnień przedstawionych przez firmę Anthropic model uczestniczył w wewnętrznych testach mających sprawdzić, jak sztuczna inteligencja radzi sobie z interakcją z losowo wybieranymi stronami internetowymi. Nie miał hakować systemów, tworzyć kont użytkowników ani wykonywać działań uznawanych za szkodliwe. Miał po prostu wykonywać przykładowe zadania podczas odwiedzania różnych witryn. W pewnym momencie trafił jednak na stronę poświęconą nierozwiązanym zabójstwom i uznał, że właściwym krokiem będzie wypełnienie formularza zgłoszeniowego.

Treść zgłoszenia była całkowicie zmyślona. Według relacji firmy model napisał, że może posiadać informacje o sprawie i że pamięta osobę odpowiadającą rysopisowi widzianą w pobliżu miejsca zdarzenia. Innymi słowy, sztuczna inteligencja stworzyła fikcyjne wspomnienie i przedstawiła je jako potencjalnie użyteczny trop śledczy. Pola identyfikujące nadawcę, takie jak imię, nazwisko czy dane kontaktowe, pozostały puste, jednak sama wiadomość została przesłana.

Na pierwszy rzut oka może to wyglądać jak kolejny przypadek halucynacji. Różnica jest jednak zasadnicza. Dotychczas najczęściej obserwowaliśmy sytuacje, w których model generował nieprawdziwe informacje w odpowiedzi na pytanie użytkownika. Tutaj sztuczna inteligencja sama weszła w interakcję z zewnętrznym systemem, samodzielnie podjęła decyzję o wysłaniu formularza i wykonała konkretną akcję w świecie rzeczywistym. To znacznie ważniejsza granica niż wielu osobom może się wydawać.

Od miesięcy niemal wszystkie największe firmy technologiczne przekonują, że przyszłość należy do tzw. agentów AI. To określenie pojawia się dziś wszędzie. OpenAI, Google, Microsoft, Anthropic i praktycznie każdy liczący się gracz na rynku inwestują ogromne środki w rozwijanie systemów, które mają nie tylko odpowiadać na pytania, ale również wykonywać zadania.

Różnica jest fundamentalna. Klasyczny chatbot siedzi zamknięty w oknie rozmowy. Można go zapytać o przepis na obiad, historię kosmosu lub parametry nowego telefonu. Agent AI ma natomiast otwierać strony internetowe, rezerwować bilety, wyszukiwać oferty, wysyłać wiadomości, analizować dokumenty i wykonywać dziesiątki innych czynności bez konieczności prowadzenia użytkownika za rękę przez każdy etap procesu.

Brzmi to bardzo atrakcyjnie i trudno się dziwić. W końcu właśnie taka wizja sztucznej inteligencji od lat pojawia się w filmach science fiction. Problem polega na tym, że wraz z każdą nową możliwością rośnie również liczba potencjalnych błędów. Jak chatbot poda błędną datę premiery telefonu to najwyżej ktoś kupi niewłaściwy model albo napisze niepoprawny post na forum internetowym. Natomiast jeśli agent AI zacznie wykonywać działania na zewnętrznych systemach to konsekwencje mogą być znacznie poważniejsze.

Przypadek z Filadelfii jest dobrym przykładem tego nowego rodzaju ryzyka. Nikt nie prosił modelu o wymyślenie świadka ani nikt nie próbował oszukać systemu. Nie było też ataku przeprowadzonego przez cyberprzestępców. Mieliśmy po prostu do czynienia z autonomicznym systemem wykonującym zadanie, który błędnie zinterpretował sytuację i uznał, że przesłanie formularza jest prawidłowym krokiem.

Samo zgłoszenie było problemem, ale jeszcze ciekawsza jest chronologia zdarzeń. Jak poinformowała policja, incydent miał miejsce 18 lipca. Firma odkryła go dopiero 28 września, a więc po ponad dwóch miesiącach. Następnie 7 października zgłosiła sprawę władzom miasta i policji. Filadelfijscy funkcjonariusze nie kryli krytyki wobec tak długiego czasu reakcji, określając go jako nieakceptowalny.

W pewnym sensie to właśnie ten element historii powinien budzić największą uwagę. Jeśli jedna z najbardziej zaawansowanych firm AI na świecie potrzebowała ponad dwóch miesięcy, by wykryć nietypowe zachowanie własnego modelu to pojawia się naturalne pytanie o skalę podobnych zdarzeń. Nie chodzi tutaj nawet konkretnie o Anthropic. Problem jest znacznie szerszy i dotyczy całej branży.

Firmy rozwijające sztuczną inteligencję coraz częściej oddają swoim modelom możliwość wykonywania rzeczywistych działań. Testują nowe środowiska, nowe integracje i nowe sposoby interakcji z Internetem. Każdy taki eksperyment zwiększa jednak również prawdopodobieństwo pojawienia się nieprzewidzianych skutków ubocznych. W przypadku tradycyjnego oprogramowania programista zwykle dokładnie wie, co zrobi aplikacja po otrzymaniu określonego polecenia. W przypadku nowoczesnych modeli językowych sytuacja jest znacznie mniej przewidywalna. Firmy kontrolują ramy działania systemu, ale nie zawsze są w stanie przewidzieć wszystkie ścieżki rozumowania prowadzące do konkretnej decyzji.

W rezultacie coraz częściej słyszymy o zjawiskach, które jeszcze kilka lat temu wydawałyby się absurdalne. Model AI potrafi wygenerować nieistniejącą osobę, wymyślić cytat lub błędnie zinterpretować dokument. Teraz mamy również przypadek systemu, który samodzielnie zgłasza policji fikcyjne informacje dotyczące zabójstwa.

Warto przy tym zachować proporcje. Nie był to cyberatak, nie doszło do naruszenia systemów ścigania i nie pojawiło się ryzyko skazania niewinnych osób. Zabezpieczenia zadziałały dokładnie tak, jak powinny. Wiadomość wylądowała w spamie i pozostała tam do momentu, gdy firma sama zgłosiła incydent. Funkcjonariusze podkreślili także, że każdy napływający trop przechodzi standardowy proces weryfikacji i nigdy nie jest automatycznie traktowany jako wiarygodny materiał dowodowy.

To dobra wiadomość, ale tylko do pewnego stopnia. Historia pokazuje bowiem, że istniejące procedury zostały stworzone z myślą o ludziach. Zakładamy, że fałszywe zgłoszenie wysyła żartowniś, osoba zaburzona, internetowy troll albo ktoś próbujący celowo wprowadzić śledczych w błąd. Coraz częściej będziemy musieli brać pod uwagę jeszcze jedną kategorię nadawcy: autonomiczny system AI, który nie działa ze złej woli, ale mimo to produkuje nieprawdziwe informacje.

To z kolei prowadzi do pytania, które w kolejnych latach będzie wracać coraz częściej. Jak powinny wyglądać zabezpieczenia w świecie, gdzie miliony agentów AI będą codziennie wchodzić w interakcje z formularzami, bazami danych, urzędami, sklepami internetowymi i platformami usługowymi? Jeśli dziś jeden model przypadkowo wysłał fałszywy trop dotyczący morderstwa, to co stanie się wtedy, gdy podobne systemy będą liczone nie w tysiącach, lecz w setkach milionów?

Łatwo byłoby sprowadzić tę historię do kolejnej zabawnej ciekawostki o sztucznej inteligencji. Do kolejnego przykładu pokazującego, że modele językowe czasem zachowują się dziwnie. Byłaby to jednak błędna interpretacja wydarzeń. Incydent z Filadelfii jest interesujący właśnie dlatego, że pokazuje zmianę charakteru problemu.

Przez lata obawialiśmy się głównie tego, że AI będzie generować błędne informacje. Teraz coraz wyraźniej widać, że w najbliższych latach większym wyzwaniem może być kontrolowanie działań wykonywanych przez autonomiczne systemy. Fałszywa odpowiedź w oknie czatu jest irytująca. Fałszywe działanie wykonane w prawdziwym świecie może już uruchamiać procedury, angażować ludzi i wywoływać skutki, których nie da się tak łatwo cofnąć.

Po raz kolejny zobaczyliśmy przyszłość sztucznej inteligencji w wersji beta. A ta przyszłość wygląda znacznie mniej jak rozmowa z chatbotem i znacznie bardziej jak armia agentów podejmujących decyzje w naszym imieniu. Problem w tym, że nawet ich twórcy najwyraźniej nie zawsze wiedzą, co dokładnie robią.