O co naprawdę chodzi z tym oszukiwaniem autonomicznych samochodów naklejkami na znakach?

Sporym echem niesie się właśnie po sieci badanie dowodzące, że jeden z kluczowych systemów autonomicznej jazdy da się w banalny sposób oszukać, prowadząc tym samym jeśli nie do zagrożenia życia, to przynajmniej sporego chaosu. Czy faktycznie tak jest? Przyjrzyjmy się dokładniej całej sprawie i głośnemu badaniu.

O co właściwie chodzi?

O pracę naukową, w której postanowiono sprawdzić, czy da się oszukać system rozpoznawania znaków tak, aby nie rozpoznał on znaku w ogóle albo, co jeszcze gorsze, rozpoznał go nieprawidłowo.

Dlaczego jest to istotne?

Bo takie systemy rozpoznawania znaków, bazujące na danych z kamery i algorytmach przetwarzających te informacje, odpowiadają w dużej mierze za to, jak poruszają się obecnie częściowo zautomatyzowane pojazdy i jak będą przez długi czas poruszać się pojazdy w pełni autonomiczne.

I co, da się to zrobić?

Tak. Nawet brzmi to z pozoru dość prosto. Wystarczy kilka pozornie losowo naklejonych na znak kawałków papieru, żeby dramatycznie obniżyć skuteczność identyfikacji znaków. Do tego stopnia, że tak błędnie poinformowany samochód autonomiczny może powodować na drodze zagrożenie.

Jakie dokładnie zmiany wprowadzono i na jaki znak się uwzięto?

Badany był jeden konkretny znak, dość kluczowy dla bezpieczeństwa - znak stopu.

W testach uwzględniono dwie główne formy ataków - zasłanianie całego znaku nowym oznaczeniem lub zmiany naklejkowe, obejmujące doklejenie kilku kawałków papieru.

W sumie wyszły z tego trzy oddzielne przypadki. W pierwszym z nich zamieniono w całości treść znaku. W drugim zdecydowano się na standardowy wandalizm, umieszczając na tarczy znaku napis, który jednak nie zasłaniał praktycznie kluczowej informacji. W trzeciej analizowanej sytuacji naklejono w kilku miejscach kawałki papieru.

No właśnie, te napisy... ma to jakieś znaczenie?

Nie. Autorzy badania wyraźnie zaznaczają, że napis "Love" i "Hate" naklejone na znak to wyłącznie forma wygenerowanych komplikacji. Nie był to więc napis w klasycznym tego słowa rozumieniu - była to grafika w kształcie napisu. Przygotowana przez algorytm według zadanych parametrów.

To samo zresztą tyczy się artystycznych komplikacji - ich pozorna losowość jest... całkowicie pozorna.

Jak bardzo złe były wyniki systemu rozpoznawania znaków po tych zmianach?

Bardzo złe. Przy testach prowadzonych dla różnych kątów i odległości, delikatne komplikacje potrafiły prowadzić do błędnego odczytu w 2 na 3 próby. Katastrofalnie wręcz złe wyniki.

A przy tym pełnym zakrywaniu i zmianie znaków?

Jednym z elementów eksperymentu była całkowita zmiana tego, co prezentuje znak, z wykorzystaniem... wydruków z domowej drukarki. To również wprowadziło system rozpoznawania znaków w spore zakłopotanie (w zasadzie w 100 proc. przypadków). Teoretycznie ludzkiego kierowcę również by wprowadziło, tyle tylko, że system rozpoznawał nie tyle nowy, wydrukowany znak - rozpoznawał go jeszcze inaczej (!).

Czy człowiek rozpoznałby, co przedstawiają zmodyfikowane znaki?

Tak. W większości testowych przypadków modyfikacje znaku były na tyle subtelne, że nie byłoby żadnych problemów z ich identyfikacją, gdyby przyglądał się im ludzki kierowca.

Oczywiście przy podmienionej treści znaków zostałby oszukany. Ale nie tak jak komputer, który dał się oszukać podwójnie.

Ale jak, wystarczy kilka kawałków papieru, żeby oszukać komputer?

No, nie do końca. Tutaj właśnie tkwi cały sekret. Dla człowieka te dodatkowe elementy są zupełnie losowe. W rzeczywistości jednak ich lokalizacja, liczba, rozmiar czy kolor są efektem pracy algorytmu.

Jakiego znowu algorytmu?

Robust Physical Perturbations (RP2). Mającego jeden cel - ogłupić system rozpoznawania znaków. Czyli tak, da się ogłupić samochodowy system rozpoznawania znaków. I nie, nie zrobi tego kilka np. rozbitych na powierzchni znaku owadów.

Ale skąd ten algorytm wie, jak ma zadziałać?

I tu jest kolejny istotny szczegół. Atakujący musi mieć do takiego systemu dostęp, żeby móc za pomocą swojego narzędzia wykryć jego słabe strony i przygotować odpowiednie - niech już będzie - papierki maskujące.

I to wszystko?

A skąd. Autorzy badania podają jeszcze szereg innych problemów, jakie rodzi próba oszukania systemów rozpoznawania znaków. Mylące komplikacje muszą być chociażby przygotowane tak, aby kamery samochodowe były je w stanie w ogóle zobaczyć - nie mogą być np. zbyt małe. Muszą też mieć odpowiednie kolory, więc nie każda domowa drukarka poradzi sobie z tym problemem.

Do tego powinny być naprawdę dobrze przygotowane pod każdym względem - chociażby muszą wprowadzać system w błąd niezależnie od kąta, z jakiego odczytuje je kamera. Stąd też i problemy badaczy chociażby z artystycznymi komplikacjami - te bardzo zmieniały swój "rozmiar i kształt" w zależności od kąta, z którego były rejestrowane. Konieczne więc były ich dodatkowe modyfikacje.

Nie jest to więc zadanie łatwe.

Więc to wcale nie jest taki łatwy atak?

Absolutnie nie. Nie wystarczy nakleić kilku kawałków papieru, żeby nagle autonomiczny samochód sąsiada roztrzaskał się na najbliższym skrzyżowaniu. Trzeba dokładnie wiedzieć co zrobić, czym zrobić i jak zrobić. To jest konkretny, precyzyjnie zaplanowany atak.

Atak na znak stopu. I atak na konkretny system rozpoznawania znaków.

Ale moment... czy znak stopu nie różni się od innych?

Ależ oczywiście. Niemal na całym świecie jego forma (tj. kształt tablicy) jest zupełnie inna od wszystkich innych pionowych oznaczeń drogowych. I tu jest mały problem z tym badaniem - naukowcy wzięli pod uwagę jedynie treść znaku. Wystarczy, że system rozpoznawania w samochodzie jest w stanie uwzględnić też kształt (a powinien być w stanie) i wtedy już nie pomyli stopu z pierwszeństwem przejazdu. I na odwrót.

Niezależnie od tego, co będzie na samym znaku narysowane lub naklejone.

Czyli teoretycznie taki atak nikomu nie grozi?

Niestety nie. Sugeruje się, że nawet bez dostępu do systemu rozpoznawania znaków można, mając odpowiednio dużo czasu i umiejętności, można odtworzyć sposób jego analizy otoczenia i tym samym przygotować odpowiednie naklejki.

Zresztą nie oszukujmy się - jeśli komuś będzie na tym bardzo zależeć, to postara się stworzyć takie komplikacje, żeby oszukały systemy rozpoznawania.

To jakich producentów systemy udało się tak oszukać?

Żadnych. Testy zostały przeprowadzone wyłącznie w warunkach laboratoryjnych, z wykorzystaniem narzędzi przygotowanych przez naukowców przeprowadzających test.

Sami wprowadzili do niego wcześniej odpowiednie dane na temat znaków drogowych i uzyskali około 90-procentową skuteczność przy niezmodyfikowanych tarczach znaków.

Co warto jednak zaznaczyć, autorzy zapewniają, że za skuteczny atak przyjmowano jedynie sytuację, w której system prawidłowo rozpoznał niezmodyfikowany znak, a potem - w takich samych warunkach - dał się zmodyfikowanemu oznaczeniu oszukać.

Czyli nie było tu żadnego samochodu?

Ani pół. Zdjęcia były przechwytywane z pomocą telefonu komórkowego, a następnie analizowane na komputerze.

To da się te samochody oszukać czy nie?

Tak. Dopóki głównym źródłem ich wiedzy na temat otaczającego świata jest kamera, będzie się je dało oszukiwać. Czy metodą pokazaną przez autorów omawianej pracy, czy inną.

Nie trzeba nawet nic drukować. Ileż to już razy widzieliśmy odwrócone znaki na skrzyżowaniach? Ile razy znak był zasłonięty np. przez nieprzycięte drzewo? Jak niewielkim wysiłkiem dla kogoś, powiedzmy, złośliwego, byłoby wyprodukowanie czegoś, co wygląda po prostu jak znak, ale nie powinno stać w danym miejscu?

Sposobów na oszukanie kamer jest multum. Zresztą i same systemy rozpoznawania znaków lubią się dla rozrywki oszukać. Przykładowo podczas jazdy po autostradzie odczytując znak ograniczenia prędkości z drogi dojazdowej.

A gdyby już teraz zrobić takie oszustwo na znakach?

Cóż, byłby problem. Większość producentów traktuje - szczególnie w przypadku ograniczeń prędkości - znaki drogowe jako nadrzędne nad danymi zapisanymi np. w nawigacji. Widząc ograniczenie do 40 km/h, nawet mając zapisane w pamięci, że w tym miejscu można jechać 120 km/h, samochód po minięciu fałszywego znaku zacznie gwałtownie hamować.

Da się to jakoś rozwiązać?

Oczywiście. Ale to będzie wymagać czasu. Co z kolei kłóci się mocno z marzeniami niektórych i deklaracjami np. Elona Muska, że jesteśmy już (dosłownie) kilka lat od w pełni autonomicznych samochodów. Takich, którym tylko podajemy adres, a one wiozą nas na miejsce.

To jakie jest rozwiązanie? Znaki na wysokości 5 m, żeby nikt do nich nie dosięgnął?

Nie. Problem z obecnymi znakami jest taki, że są przeznaczone dla ludzi, nie dla komputerów. Ich przechwytywanie za pomocą kamery i późniejsza analiza to marnowanie zasobów - próba dostosowania maszyn do systemu działania człowieka. Próba stworzenia autonomicznych samochodów tu i teraz. W świecie, który na autonomiczne samochody gotowy w żaden sposób nie jest.

A kiedy będzie gotowy?

Za dekady, a może i za całe wieki. Kiedy fizyczne znaki zostaną w pełni zastąpione przez znaki cyfrowe. Kiedy każdy samochód będzie w stanie komunikować się z każdym innym samochodem.

Czy będzie to rozwiązane poprzez w pełni cyfrowe oznaczenie ich na mapie, czy może dodanie odpowiednich urządzeń nadających do każdego pojedynczego znaku (wydaje się zbyt kosztowne) - trudno w tym momencie stwierdzić. Ale infrastruktury dla autonomicznych samochodów nie ma i jeszcze długo nie będzie. Niezależnie od tego, co twierdzi Elon Musk i jak pięknie brzmią jego zaledwie miesiące oczekiwania.

Dużo łatwiej jest już uwierzyć w wizję np. Volvo, które nie obiecuje absolutnie autonomicznej jazdy w ciągu najbliższych lat. Obiecuje, że auto będzie na tyle zautomatyzowane, że będzie w stanie ochronić swoich pasażerów.

Ale przecież piszą, że wystarczy, żeby system działał kontekstowo!

Niby tak. Niby może rozumieć, że na autostradzie nie ma ograniczenia do 50 km/h, w terenie zabudowanym 180 km/h jechać raczej nie wolno, i tak dalej, i tak dalej.

Ale to wciąż lepienie świata i krytycznych systemów na taśmę klejącą. Na autostradzie mogą być prowadzone roboty drogowe, które faktycznie ograniczą prędkość do szokująco niskich wartości. To, co dla komputera jest terenem zabudowanym, może być elementem miejskiej obwodnicy autostradowej. Na którymś skrzyżowaniu może się zmienić układ pierwszeństwa.

Ja bym się tak działającemu, w pełni autonomicznemu samochodowi wozić nie pozwolił.

To co robić?

Jeździć. Samemu, z Drive Pilotem, Pilot Assist, Autopilotem czy cokolwiek jeszcze oferuje nam nasz samochód. I cieszyć się tym, jak bardzo odciążają nas w czasie jazdy.

Ale nigdy nie ufać im w 100 proc. A już na pewno nie wtedy, kiedy wiemy, że da się je oszukać.