Współtwórca ChatGPT chce bunkra. Przeraża go uwolnienie AGI

Ilya Sutskever, jeden z najważniejszych umysłów stojących za ChatGPT, nie tylko przewiduje nadejście Sztucznej Ogólnej Inteligencji (AGI), ale już planuje dla swojego zespołu podziemny bunkier na wypadek końca świata. To nie jest scenariusz science fiction - to rzeczywiste rozmowy, które miały miejsce w siedzibie jednej z najbardziej wpływowych firm technologicznych na świecie, dokumentowane w nowej książce Empire of AI dziennikarki Karen Hao. Zwróciłem na nią uwagę za sprawą cytatu na łamach The Atlantic. I po raz pierwszy od dawna nie mam pojęcia co myśleć.

Lato 2023 r. w OpenAI. Ilya Sutskever, współzałożyciel firmy i główny naukowiec odpowiedzialny za przełomowe modele językowe, organizuje spotkanie z kluczowymi pracownikami. W tym momencie OpenAI jest na szczycie swojej popularności - ChatGPT bije rekordy wzrostu, a wycena firmy szybuje w kosmos. Sutskever powinien świętować sukces, zamiast tego jednak rozpoczyna prezentację od słów: Gdy wszyscy dostaniemy się do bunkra...

Czytaj też:

Jeden z obecnych na spotkaniu badaczy przerywa zaskoczony: Przepraszam, bunkra? Sutskever odpowiada bez wahania: Zdecydowanie zbudujemy bunkier przed wydaniem AGI. Jak relacjonuje źródło obecne na spotkaniu, główny naukowiec zapewnił także zespół, że wejście do bunkra będzie oczywiście dobrowolne.

To może brzmieć jak żart z kreskówek o szalonych naukowcach, ale według dwóch dodatkowych źródeł cytowanych przez Karen Hao, Sutskever regularnie wspominał o planach budowy bunkra podczas wewnętrznych spotkań. Jeden z pracowników OpenAI opisał to tak: Istnieje grupa ludzi – w tym Ilya – którzy wierzą, że budowanie AGI spowoduje koniec świata. Dosłownie koniec świata.

Sutskever nie jest przypadkowym alarmistą. To jeden z najważniejszych umysłów w dziedzinie sztucznej inteligencji, współtwórca przełomowego AlexNet z 2012 r., określanego przez ekspertów jako Big Bang AI. Jego obawy dotyczące AGI nie wynikają z niewiedzy, lecz z głębokiego zrozumienia potencjału technologii, nad którą pracuje.

Według źródeł Sutskever wierzył, że bunkier będzie potrzebny do ochrony kluczowych naukowców przed geopolitycznym chaosem i intensywną rywalizacją między krajami, która wybuchnie po uwolnieniu AGI. W jego wizji technologia ta będzie tak potężna, że stanie się obiektem intensywnego pożądania rządów na całym świecie.

Paradoksalnie w tym samym czasie Sam Altman, CEO OpenAI, ironizował na temat bunkrów dla ultrabogatych. Jak relacjonował w 2023 r. podczas wydarzenia WSJ Tech Live: Nic nie pomoże, jeśli AGI pójdzie w złym kierunku, to absurdalne pytanie. Tymczasem jego własny główny naukowiec planował dokładnie takie rozwiązanie.

Historia bunkra to tylko fragment większej opowieści o transformacji OpenAI z idealistycznej organizacji non-profit w giganta napędzanego komercyjnymi ambicjami. Jak opisuje Karen Hao w swojej książce, firma początkowo była postrzegana jako rzadki intelektualny plac zabaw bez ograniczeń, schronienie dla idei na marginesie.

Sutskever, który początkowo poświęcał większość czasu na rozwijanie możliwości AI, do 2023 r. zaczął połowę swojego czasu poświęcać bezpieczeństwu sztucznej inteligencji. Według Geoffa Hintona, jego mentora i pioniera AI, Sutskever był przekonany, że AGI stało się imminent - nadchodzące w najbliższym czasie.

Napięcia w OpenAI osiągnęły punkt kulminacyjny w listopadzie 2023 r., gdy Sutskever wraz z Chief Technology Officer Mirą Murati doprowadzili do krótkotrwałego odsunięcia Sama Altmana od władzy. Ich głównym zarzutem było, że Altman pomijał wewnętrzne protokoły bezpieczeństwa i skupiał się bardziej na komercjalizacji niż na odpowiedzialnym rozwoju technologii/

Nie sądzę, że Sam to osoba, która powinna naciskać guzik AGI, miał powiedzieć Sutskever według notatek przejrzanych przez Hao. Jednak zamach trwał tylko kilka dni. Pod presją inwestorów, pracowników i Microsoftu, Altman wrócił na stanowisko. Ostatecznie zarówno Sutskever, jak i Murati opuścili firmę w ciągu niecałego roku.

W maju 2024 r. stanowisko szefa działu badawczego przejął Jakub Pachocki, pochodzący z Gdyni naukowiec związany z OpenAI od 2017 r. Sutskever założył własną firmę zajmującą się bezpieczną superinteligencją.

Obecne zmiany w OpenAI pokazują, jak firma odeszła od pierwotnych ideałów. W kwietniu OpenAI zaktualizowało swój Preparedness Framework, stwierdzając, że może dostosować swoje wymagania bezpieczeństwa, jeśli konkurencyjna firma wypuści system wysokiego ryzyka bez podobnych zabezpieczeń. To oznacza faktyczne obniżenie standardów bezpieczeństwa pod presją konkurencji.

Firma coraz bardziej polega na automatycznych ocenach w celu przyspieszenia rozwoju produktów. Według Financial Times OpenAI dało testerom mniej niż tydzień na kontrole bezpieczeństwa najnowszego głównego modelu - znacznie skrócony harmonogram w porównaniu z poprzednimi wydaniami.

Mimo odejścia Sutskevera OpenAI kontynuuje wyścig o AGI. Firma przeprowadza niejawne spotkania z przedstawicielami rządu Stanów Zjednoczonych, aby przedstawić swoją najnowszą technologię agentów AI nowej generacji. Te wysoko wyspecjalizowane, półautonomiczne instancje AI mają być zdolne do rozwiązywania problemów na poziomie akademickiego doktora.

Nowa technologia ma potencjał zastąpienia profesjonalistów średniego szczebla w szerokiej gamie branż, znacząco zmieniając krajobraz zatrudnienia. To paradoks rozwoju technologicznego - im bliżej jesteśmy AGI, tym większe powstają dylematy etyczne i społeczne.

Historia bunkra doomsday może wydawać się absurdalna, ale odzwierciedla realne obawy części społeczności AI dotyczące niekonwencjonalnych zagrożeń związanych z rozwojem superinteligencji. Fakt, że jeden z najbardziej wpływowych naukowców w dziedzinie AI poważnie rozważał takie środki ostrożności, pokazuje skalę niepewności towarzyszącej tej rewolucji technologicznej. Ilya Sutskever, jeden z architektów obecnej rewolucji AI, nie tylko przewidywał nadejście AGI, ale także przygotowywał się na scenariusze, które większość z nas uważa za science fiction.

Transformacja OpenAI z idealistycznej organizacji non-profit w komercyjnego giganta pokazuje, jak presja rynkowa może wpływać na kształt przełomowych technologii. Odejście Sutskevera i zastąpienie go przez Jakuba Pachockiego symbolizuje przejście od paranoidalnego idealizmu do pragmatycznego rozwoju produktów.

Jednak pytanie o bunkier pozostaje aktualne: czy w obliczu nadchodzącej ery AGI potrzebujemy więcej transparentności i kontroli demokratycznej, czy może rzeczywiście powinniśmy przygotować się na radykalne zmiany społeczne? Historia OpenAI sugeruje, że odpowiedź na to pytanie będzie kształtować nie tylko przyszłość sztucznej inteligencji, ale także przyszłość naszej cywilizacji.

Jak na ironię, podczas gdy Sutskever planował bunkier na koniec świata, jego własna kariera w OpenAI zakończyła się znacznie wcześniej - nie przez AGI, lecz przez całkiem ludzkie konflikty o władzę i wizję przyszłości.