Wstępny raport po śmiertelnym wypadku Ubera – winne oprogramowanie

W wypadku Ubera sprzęt zadziałał prawidłowo – zauważył przechodnia. Zawiódł software.

Amerykańska Krajowa Rada Bezpieczeństwa Transportu (NTSP) przedstawiła wstępny raport dotyczący marcowego, śmiertelnego potrącenia kobiety przez testowy samochód autonomiczny Ubera. Przypomnijmy – 18 marca Volvo XC90 wyposażone w rozwiązania pozwalające na autonomiczna jazdę potrąciło 49-letnią kobietę przechodzącą nocą w słabo oświetlonym miejscu przez czteropasmową jezdnię. Kobieta przechodziła przez ulicę prowadząc rower.

Z ustaleń policji wynika, że samochód poruszał się z prędkością 69 km/h w terenie gdzie obowiązywało ograniczenie do 72 km/h (45 mph). Z materiału wideo wynika, że kierowca testowy, znajdujący się w pojeździe w chwili wypadku nie obserwował drogi, a patrzył na konsolę centralną pojazdu.

Tempe Police Vehicular Crimes Unit is actively investigating
the details of this incident that occurred on March 18th. We will provide updated information regarding the investigation once it is available. pic.twitter.com/2dVP72TziQ

— Tempe Police (@TempePolice) March 21, 2018

Elektronika widzi wszystko

Samochody autonomiczne są wyposażone w całą baterię urządzeń pozwalających na analizę otoczenia – od lidarów, przez kamery, po czujniki radarowe. Jak skonstruowany jest system wykorzystywany przez Ubera pisaliśmy tutaj.

Z raportu NTSB wynika, że urządzenia zamontowane w testowym Volvo zadziałały prawidłowo. Lidar dostrzegł kobietę na 6 sekund przed uderzeniem, czyli z odległości ok 120 metrów. Wygląda jednak na to, że oprogramowanie odpowiedzialne za sprawność autonomiczną pojazdu nie zinterpretowało jej jako zagrożenia. W raporcie czytamy:

Gdy droga pojazdu i pieszej zbiegły się, system autonomicznej jazdy sklasyfikował pieszą jako nieznany obiekt, jako pojazd a następnie jako rower z kilkoma możliwymi ścieżkami do pokonania.

Raport nie uszczegółowia jak system Ubera rozpoznał pieszą albo przewidział, w którą stronę się uda. I oczywiście w związku z testowym, eksperymentalnym charakterem testowego pojazdu można przyjąć, że czasem może zawieść. Dlatego na pokładzie znajduje się kierowca, który ma działać jako dodatkowe zabezpieczenie i przejąć kontrolę w chwili zagrożenia. Jednak w tym przypadku kilka rozwiązań sprawiło, że przejęcie kontroli było trudniejsze niż się może to wydawać.

Dziwne rozwiązania

Na 1,3 sekundy przed uderzeniem, czyli w odległości około 25 metrów od pieszej fabryczny system zapobiegania kolizji Volvo (nie Ubera!) stwierdził, że by uniknąć zderzenia konieczne będzie hamowanie awaryjne. Gdyby w tym momencie faktycznie elektronika zadziałała i doprowadziła do pełnego hamowania prawdopodobnie kolizji można by uniknąć. Na suchej nawierzchni samochód w tej sytuacji powinien się zatrzymać na dystansie około 20 metrów.

Niestety zgodnie z raportem oprogramowanie Ubera wykluczało możliwość wykorzystania układu awaryjnego hamowania pojazdu.

Uber podaje, że manewry awaryjnego hamowania nie są dostępne gdy pojazd znajduje się pod kontrolą komputera, by zredukować zagrożenie błędnego zachowania pojazdu. To kierowca bezpieczeństwa jest zobowiązany interweniować i rozpocząć manewr.

I pewnie kierowca miałby taką możliwość, gdyby otrzymał sygnał z systemu. Tymczasem w systemie Ubera nie przewidziano możliwości ostrzegania kierowcy.

Oczywiście nie wiadomo, czy faktycznie kierowca ostrzeżony na 1,3 sekundy przed uderzeniem miałby szansę zainterweniować. Ale być może zadziałałby na tyle by ograniczyć tragiczne skutki wypadku.

Dodatkowa trudność w tym wypadku polegała na tym, że kierowca Ubera ma obowiązek obserwować dane z systemu jazdy autonomicznej i interweniować na wypadek jakichś nieprawidłowości. Dlatego zamiast koncentrować się na drodze operator patrzył w dół.

Rozwój systemu autonomicznej jazdy Ubera opiera się na uważnej pracy operatora, który ma interweniować w przypadku dostrzeżenia usterek systemu podczas testów. Dodatkowo operator jest odpowiedzialny za obserwację informacji diagnostycznych, które pojawiają się na ekranie w centralnej części kokpitu i zaznaczać potencjalne anomalie, które należy poddać dalszej analizie.

Kamera zamontowana wewnątrz pojazdu pokazuje, że operator spoglądał w dół na ekran zamontowany w kokpicie. Podczas przesłuchania w NTSB kierowca testowy zeznał, że obserwował wskazania systemu jazdy autonomicznej.

Winny software czy człowiek?

W omawianym przypadku bezsprzecznie zawiodło oprogramowanie, które błędnie zareagowało na dostrzeżony na drodze obiekt w postaci pieszej z rowerem. Jednak decyzja by wyłączyć możliwość zadziałania systemu awaryjnego hamowania Volvo, brak ostrzeżeń dla kierowcy testowego, czy konieczność analizy danych z ekranu zamontowanego w centralnej części kokpitu zamiast obserwacji drogi, to elementy, o których należałoby podyskutować z projektantami sytemu. Najtrudniej mi zrozumieć ten ostatni element. Skoro kierowca testowy miał być ostatnią deską ratunku w sytuacji, gdy zawiedzie system, jak można było wymagać od niego, żeby równolegle z obserwacją drogi monitorował dane pojawiające się na ekranie komputera? Powszechnie głosi się o tym jak niebezpieczne jest korzystanie z urządzeń elektronicznych podczas prowadzenia samochodu. Wiadomo, że większość wypadków spowodowana jest właśnie rozkojarzeniem kierowców. A tu mamy do czynienia z sytuacją, w której człowiek zawierza elektronice, ma monitorować tor poruszania się pojazdu, a dodatkowo wymaga się od niego skrupulatnej obserwacji wskazań systemu na monitorze. Czy nie jest logiczne, że do tego zajęcia powinien być powołany dodatkowy człowiek? Osoba, która koncentruje się wyłącznie na zapisach systemu i zaznacza zdarzenia, które należałoby poddać ponownej analizie, ale nie musi obserwować drogi z takim zaangażowaniem, jakiego wymaga się od kierowcy. Czyżby Uber wolał oszczędzić na dodatkowej parze oczu?

Ten wypadek powinien skłonić firmy zajmujące się testami pojazdów autonomicznych do zrewidowania procedur bezpieczeństwa. Kto wie, czy nie należałoby też przygotować ogólnych wytycznych dotyczących takich testów. Na obszarach, na których zezwolono na takie testy powinny obowiązywać odpowiednie przepisy regulujące minimalne wymagania co do zachowania personelu przeprowadzającego testy i wymagania dla systemów, które są testowane. Tu nie ma miejsca na oszczędności. Jeśli takie niedopatrzenia nadal będą się zdarzały, ludzie będą coraz mniej chętni do oddawania sterów w ręce robotów.