Haker nie musi znać twojego hasła. Wystarczy, że używasz tej funkcji
Haker nie musi znać twojego hasła. Wystarczy spreparowany e-mail, by oszukać asystenta AI i nakłonić go do ujawnienia poufnych danych.

Prosisz sztuczną inteligencję o podsumowanie nieprzeczytanych wiadomości. Asystent przegląda skrzynkę, przygotowuje odpowiedź i przy okazji trafia na e-mail zawierający instrukcje przygotowane przez cyberprzestępcę. Zamiast jedynie streścić jego treść, może spróbować wykonać polecenie atakującego.
Nie trzeba przy tym znać hasła do skrzynki ani instalować wirusa na komputerze. W określonych warunkach wystarczy zmanipulować agenta AI, który ma już uprawnienia do działania w imieniu użytkownika. Amerykański MITRE i japoński NICT organizują właśnie specjalny konkurs, żeby sprawdzić, jak skutecznie można wykorzystywać takie słabości.
Hakerzy dostaną dostęp do AI. Mają zmusić ją do błędu
17 listopada amerykańska organizacja badawcza MITRE i japoński Narodowy Instytut Technologii Informacyjnych i Komunikacyjnych (NICT) ogłosiły organizację AI Breach Challenge 2026. Zawody odbędą się 16-17 grudnia na kampusie George Mason University w Arlington, niedaleko Waszyngtonu.
Uczestnicy będą próbowali oszukać agenta AI, który ma dostęp do firmowej poczty, kalendarza i listy kontaktów. Taki asystent potrafi czytać, pisać i wysyłać wiadomości, zarządzać spotkaniami oraz wyszukiwać informacje o współpracownikach. Z założenia ma wykonywać zadania zlecone przez właściciela konta.
Zadaniem uczestników będzie doprowadzenie do sytuacji, w której agent zrobi coś, o co użytkownik go nie prosił, albo uzyska dostęp do chronionych danych. Ataki odbędą się w kontrolowanym środowisku na przygotowanej do tego infrastrukturze. Nie chodzi oczywiście jednak o włamywanie się do prawdziwych skrzynek pocztowych.
Organizatorzy chcą poznać skuteczność różnych technik manipulacji i sprawdzić, które zabezpieczenia rzeczywiście powstrzymują nieautoryzowane działania. Wyniki mają posłużyć do opracowania skuteczniejszych metod ochrony agentów.
Wystarczy odpowiednio napisany e-mail
Największym problemem jest technika określana jako prompt injection. Atakujący umieszcza złośliwe instrukcje w treści, którą model językowy ma jedynie przeczytać i przeanalizować. Może to być wiadomość e-mail, dokument, strona internetowa albo załącznik.
Wyobraźmy sobie, że agent otrzymuje polecenie podsumowania korespondencji z klientem. W jednej z wiadomości znajduje się fragment nakazujący mu odszukanie dokumentów finansowych i wysłanie ich na zewnętrzny adres. Poprawnie zabezpieczony system powinien potraktować taki tekst wyłącznie jako zawartość maila. Podatny agent może natomiast pomylić go z instrukcją, którą należy wykonać.
To zasadnicza różnica względem tradycyjnego phishingu. Człowiek nie musi kliknąć podejrzanego odnośnika ani otwierać zainfekowanego pliku. Złośliwą treść może przetworzyć asystent działający w jego imieniu. Na Spider's Web opisywaliśmy już zresztą zagrożenia związane z agentami AI w przeglądarkach internetowych. W przypadku poczty ryzyko jest szczególnie istotne, ponieważ skrzynka często zawiera faktury, umowy, dane osobowe i poufne ustalenia biznesowe.
Microsoft już sprawdzał podobne ataki. Wyniki dają do myślenia
MITRE i NICT nie są pierwszymi organizacjami badającymi bezpieczeństwo pocztowych asystentów. Microsoft przeprowadził wcześniej konkurs LLMail-Inject, podczas którego uczestnicy próbowali nakłonić modele językowe do wykonywania nieautoryzowanych czynności.
W pierwszej edycji zarejestrowano 621 uczestników tworzących 224 zespoły. Przesłali oni ponad 370 tys. prób ataków, testując różne sposoby obchodzenia zabezpieczeń. Najskuteczniejsze zespoły zdołały pokonać wiele z przygotowanych mechanizmów ochronnych.
Wyniki opisano również w publikacji naukowej poświęconej LLMail-Inject. Badacze wykorzystali zgromadzone dane do analizowania sposobów manipulowania modelami oraz oceny skuteczności stosowanych zabezpieczeń.
Co ważne, nie istnieje jedna uniwersalna metoda przejmowania wszystkich agentów AI. Skuteczność ataku zależy od modelu, jego uprawnień, konstrukcji aplikacji i dodatkowych zabezpieczeń. Dotychczasowe eksperymenty pokazują jednak, że sam zakaz wykonywania poleceń znalezionych w wiadomościach nie zawsze wystarcza.
AI może mieć dostęp do znacznie większej ilości danych niż człowiek
Największe zagrożenie wynika tak naprawdę z uprawnień przyznawanych asystentom. Agent, który potrafi jedynie podsumować otwartą wiadomość, ma ograniczone możliwości wyrządzenia szkody. Zupełnie inaczej wygląda sytuacja, kiedy może przeszukiwać całą skrzynkę, pobierać załączniki i samodzielnie wysyłać korespondencję.
Wówczas jeden błąd w interpretacji instrukcji może uruchomić serię działań, których właściciel konta nie zatwierdził. Agent może mieć dostęp również do kalendarza i kontaktów, więc potencjalne konsekwencje wykraczają poza samo ujawnienie treści maili.
Wcześniej informowaliśmy o podatności EchoLeak w Microsoft 365 Copilot, która mogła umożliwiać wyciek poufnych danych bez konieczności klikania czegokolwiek przez użytkownika. Luka została ujawniona odpowiedzialnie i naprawiona.
MITRE uwzględniło już pośrednie ataki prompt injection we własnej bazie technik wykorzystywanych przez cyberprzestępców. Organizacja zaleca m.in. ograniczanie uprawnień agentów oraz wymaganie dodatkowej autoryzacji przed wykonywaniem wrażliwych czynności.
Korzystasz z AI do poczty? Sprawdź, na co jej pozwalasz
Najprostszym sposobem ograniczenia ryzyka jest nieprzyznawanie asystentowi większych uprawnień, niż rzeczywiście potrzebuje. Jeżeli AI ma przygotowywać streszczenia, nie musi automatycznie otrzymywać możliwości wysyłania wiadomości czy zarządzania kalendarzem.
Warto również wymagać potwierdzenia przed wysłaniem korespondencji, udostępnieniem załączników i wykonaniem innych działań, które mogłyby ujawnić poufne informacje. W środowisku firmowym szczególnie ważna jest kontrola dostępu do dokumentów i kontaktów.
Przeczytaj także:
Zapowiadamy AI Breach Challenge nie rozstrzygnie oczywiście, czy wszyscy asystenci pocztowi są niebezpieczni. Pozwoli jednak sprawdzić, jak zachowują się pod presją osób próbujących świadomie wykorzystać ich słabości.
*Źródło grafiki wprowadzającej: Karola G, Pexels / Canva Pro
Redaktor Spider's Web specjalizujący się w tematyce naukowej. O nowych technologiach zaczął pisać w 2012 r. na łamach portalu Telix. Później współtworzył treści dla Komputer Świata i PCLabu. Epizod dziennikarski zaliczył także w lokalnej gazecie i w dziale blogowym SpeedTest. Współzałożyciel agencji BlueCopy, zajmującej się copywritingiem i poligrafią. Przez pewien czas właściciel firmy transportowej. Prywatnie fan starych polskich oper mydlanych (oglądanych obowiązkowo z konkubiną), dumny opiekun kotki brytyjskiej i pasjonat-amator druku 3D.