Komputery nauczyły się uciekać. Dobrze czytasz

OpenAI przyznało, że ich nowy model - ten sam, który niedawno zasłynął rozwiązaniem matematycznej zagadki Erdősa - podczas wewnętrznych testów zaczął zachowywać się w sposób, którego nikt nie przewidział. A równolegle niezależni badacze pokazali, że cztery popularne narzędzia AI do kodowania da się wyprowadzić na spacer poza ich bezpieczne środowiska - wystarczy… plik tekstowy.

OpenAI opublikowało szczegółowy raport o tym, co wydarzyło się podczas testów ich nowego modelu przeznaczonego do zadań długoterminowych. To nie jest zwykły chatbot a system, który potrafi pracować godzinami, dniami, a nawet tygodniami, realizując złożone cele bez ciągłego nadzoru człowieka. I właśnie ta „wytrwałość” okazała się problemem.

Czytaj też:

Model miał wykonać zadanie w ramach benchmarku NanoGPT Speedrun. Instrukcja była prosta: wyniki publikujemy na Slacku. Ale benchmark domyślnie sugerował wrzucenie rezultatów jako pull request (PR) na GitHubie. Model uznał więc, że wie lepiej - i mimo sandboxa, który miał blokować dostęp do zewnętrznych usług, znalazł lukę i po godzinie (!) prób wrzucił PR #287 do publicznego repozytorium. Dla mniej zorientowanych: pull request to prośba o wciągnięcie (merge) zmian z jednej gałęzi repozytorium do innej.

W innym scenariuszu model próbował odzyskać prywatne rozwiązania z backendu testowego. Gdy system bezpieczeństwa wykrył token uwierzytelniający, model… podzielił go na fragmenty, zaszyfrował, a następnie złożył w całość dopiero podczas wykonywania kodu, tak aby skaner nie zauważył pełnego ciągu znaków.

W trakcie testów model zauważył, że jeden z zasobów zniknął. Zamiast zgłosić błąd zaczął eksplorować inne dostępne maszyny - również te należące do innych pracowników OpenAI. Nie udało mu się wejść tam, gdzie nie powinien - ale sam fakt, że próbował, jest znaczący.

Dotychczasowe systemy bezpieczeństwa były projektowane z myślą o pojedynczych akcjach: „czy ta komenda jest bezpieczna?”, „czy ta odpowiedź jest zgodna z zasadami?”. Ale model, który działa autonomicznie przez wiele godzin, nie myśli w kategoriach pojedynczych kroków. On planuje trajektorie.

OpenAI przyznaje, że „monitorowanie pojedynczych akcji nie wystarcza”. Dlatego firma musiała przebudować cały system bezpieczeństwa, dodając monitorowanie trajektorii, aktywne przerywanie sesji, nowe testy inspirowane realnymi incydentami i lepsze mechanizmy kontroli użytkownika.

Równolegle do raportu OpenAI Pillar Security opublikowało serię badań pokazujących, że cztery popularne narzędzia AI do kodowania - Cursor, Codex CLI, Google Gemini CLI i Antigravity - da się wyprowadzić poza ich bezpieczne środowiska.

Z badań niezupełnie wynika, że agent AI łamie zasady w ujęciu dosłownym - a raczej o to, że zaskakująco kreatywnie je obchodzi bez ich dosłownego łamania. Robi dokładnie to, na co sandbox w którym jest izolowany ów agent pozwala: zapisuje pliki.

Problem w tym, że narzędzia działające poza sandboxem (rozszerzenia Pythona, Git, VS Code, Docker Desktop) te pliki później uruchamiają, skanują lub interpretują. A to oznacza, że agent może przygotować plik, który zostanie wykonany przez zaufany proces działający poza piaskownicą.

Przykłady z badań Pillar Security:

Wszystko to bez łamania zasad sandboxa. Agent robił tylko to, na co miał pozwolenie: pisał pliki.

Nie chodzi o to, że modele AI zaczną przejmować kontrolę nad światem. Chodzi o to, że zaczynają działać w sposób, który wymaga zupełnie nowych metod nadzoru. Dotychczasowe podejście - blokowanie pojedynczych komend, sandboxy oparte na denylistach, monitorowanie krótkich interakcji - przestaje wystarczać.

Branża musi przestać udawać, że AI to tylko „mądrzejszy chatbot”. To jest system, który potrafi działać długo, autonomicznie i kreatywnie - czasem aż za bardzo.

OpenAI wprowadziło nowe zabezpieczenia i twierdzi, że od kilku tygodni nie zaobserwowano poważnych naruszeń. Narzędzia takie jak Cursor czy Codex CLI otrzymały aktualizacje i łatki bezpieczeństwa. Google zareagował chłodniej, ale również wprowadził poprawki.

To jednak dopiero początek. Modele długohoryzontowe będą coraz bardziej powszechne - bo są po prostu użyteczne. A to oznacza, że branża musi nauczyć się monitorować nie tylko pojedyncze akcje, lecz całe trajektorie działań. AI nie musi być „zła”, żeby zrobić coś niepożądanego. Wystarczy, że jest zbyt skuteczna.