Bot może usłyszeć polecenie, którego ty nie słyszysz. Konieczna nowa ochrona

Wyobraź sobie, że słuchasz muzyki, a stojący obok inteligentny głośnik otrzymuje polecenie otwarcia drzwi. Ty jednak nie usłyszałeś żadnej komendy. Dla człowieka nagranie brzmi zupełnie normalnie, ale system rozpoznawania mowy interpretuje je zupełnie inaczej. Takie ataki są możliwe i od lat stanowią poważny problem dla twórców asystentów głosowych.

Naukowcy z George Mason University opracowali sposób, który może znacząco utrudnić podobne włamania. Zamiast budować jeden niezwykle odporny model sztucznej inteligencji, proponują tworzenie ogromnej liczby nieznacznie różniących się wersji tego samego systemu. W rezultacie nagranie przygotowane do oszukania jednego asystenta może okazać się bezużyteczne w przypadku drugiego.

Technika wykorzystywana przez cyberprzestępców polega na przygotowywaniu specjalnie zmodyfikowanych nagrań. Zmiany mogą być dla ludzkiego ucha praktycznie niezauważalne, ale wystarczają do wywołania błędów w systemie automatycznego rozpoznawania mowy.

W efekcie urządzenie może rozpoznać słowa, których człowiek wcale nie słyszy. W scenariuszach badawczych tak ukryte polecenia dotyczą między innymi odblokowania drzwi czy wykonania przelewu. Rzeczywiste skutki zależą jednak od uprawnień asystenta i dodatkowych zabezpieczeń.

Nie jest to jednak zupełnie nowa metoda. Już w 2018 r. na Spider's Web opisywaliśmy ukrywanie poleceń w muzyce oraz wykorzystywanie ultradźwięków do atakowania inteligentnych asystentów. Problem polega na tym, że systemy rozpoznawania mowy nadal mogą być podatne na odpowiednio spreparowane sygnały.

Co gorsza, wiele urządzeń korzysta z identycznych modeli AI. Jeżeli atakujący znajdzie sposób na oszukanie jednego z nich, istnieje ryzyko wykorzystania tego samego nagrania przeciwko znacznie większej liczbie urządzeń.

Rozwiązanie opracowane przez Ying Meng i Qianga Zenga otrzymało nazwę DivNet. Ma ono sprawić, żeby pozornie identyczne asystenty głosowe nie reagowały jednakowo na złośliwe nagrania. Sercem systemu jest sieć neuronowa, której działanie zależy od milionów parametrów nazywanych wagami. To wartości liczbowe określające, jak program przetwarza otrzymywane informacje i rozpoznaje poszczególne dźwięki.

Nie wszystkie wagi są jednakowo ważne. Część ma ogromne znaczenie dla prawidłowego rozumienia zwykłej mowy, natomiast inne można nieznacznie zmodyfikować bez większego pogorszenia jakości działania systemu. Badacze wykorzystali tę właściwość, bo DivNet wyszukuje parametry, których zmiana szczególnie utrudnia przeprowadzenie ataku, ale jednocześnie nie powoduje istotnych błędów w rozpoznawaniu normalnych wypowiedzi.

W badaniu przedstawionym na konferencji ACM MobiSys 2026 naukowcy pokazali, że odpowiednio dobrane modyfikacje pozwalają tworzyć ogromną liczbę wersji jednego modelu, które inaczej reagują na złośliwe nagrania.

Największą zaletą DivNet jest przede wszystkim to, że nie wymaga trenowania każdego modelu od początku. Jest to bardzo ważne, ponieważ uczenie zaawansowanych sieci neuronowych pochłania dużo czasu i mocy obliczeniowej. Po przeprowadzeniu początkowej analizy stworzenie kolejnej wersji modelu zajmuje zaledwie kilka milisekund. Samo rozpoznawanie mowy nie wymaga natomiast dodatkowego czasu w porównaniu ze standardowym systemem.

Możliwych kombinacji jest przy tym tak dużo, że według obliczeń autorów ich liczba przekracza szacowaną liczbę atomów w obserwowalnym Wszechświecie. Nie oznacza to oczywiście, że naukowcy rzeczywiście stworzyli wszystkie takie modele. Chodzi o matematyczną liczbę potencjalnych wariantów. Producent mógłby więc instalować różne wersje systemu na poszczególnych urządzeniach. Możliwa byłaby także okresowa wymiana modelu na nowy, co dodatkowo utrudniałoby przygotowanie ataku działającego przez długi czas.

Badacze sprawdzili DivNet na znanych systemach rozpoznawania mowy, w tym Wav2Vec2 i DeepSpeech. Wykorzystali zarówno cyfrowe próbki dźwięku, jak i scenariusze obejmujące odtwarzanie nagrań w rzeczywistym otoczeniu. Wyniki pokazały, że system znacząco ogranicza skuteczność ataków przygotowanych dla oryginalnego modelu. Co istotne, kolejne warianty zachowywały wysoką dokładność rozpoznawania normalnej mowy.

Na stronie projektu DivNet można znaleźć demonstracje pokazujące różnicę. W jednym z przykładów oryginalny model rozpoznaje ukryte polecenie odblokowania drzwi, natomiast dwie zmodyfikowane wersje nie potrafią już poprawnie odczytać tej samej komendy. Nie oznacza to jednak, że system jest całkowicie odporny na cyberataki. Naukowcy badali konkretne techniki manipulowania sygnałem audio. DivNet nie eliminuje wszystkich problemów związanych z podszywaniem się pod użytkownika ani z przejmowaniem kontroli nad urządzeniami.

Twórcy DivNet rozważają komercjalizację technologii i przygotowują zgłoszenia patentowe. Liczą, że zainteresują nią największych producentów sprzętu elektronicznego i oprogramowania.

Zapotrzebowanie na takie rozwiązania będzie rosło, bo asystenci głosowi przestają służyć już wyłącznie do sprawdzania pogody czy ustawiania budzika. Coraz częściej otrzymują możliwość sterowania domem, samochodem i usługami internetowymi.

Przeczytaj także:

Samsung dopiero niedawno udostępnił obsługę języka polskiego w swoim asystencie Bixby. Rozwijanie podobnych funkcji sprawia, że bezpieczeństwo rozpoznawania poleceń staje się coraz ważniejsze. DivNet nie trafił jeszcze do powszechnie używanych urządzeń jako standardowa funkcja zabezpieczająca, jednak wyniki eksperymentów sugerują jednak, że przyszłość ochrony asystentów może opierać się nie tylko na doskonaleniu pojedynczego modelu AI. Czasami skuteczniejszym rozwiązaniem jest sprawienie, żeby każdy egzemplarz zachowywał się trochę inaczej.

*Źródło zdjęcia wprowadzającego: AlpakaVideo, Canva Pro