Błąd Autopilota Tesli zabił człowieka. Powinniśmy teraz zadać sporo pytań
To niestety musiało się kiedyś stać. Ktoś musiał zginąć w pół-autonomicznym samochodzie przez błąd komputera. Padło na Teslę. I powinniśmy sobie zadać teraz sporo pytań.
Amerykański producent samochodów elektrycznych poinformował dziś w nocy, że NHTSA (National Highway Traffic Safety Administration) rozpoczyna dochodzenie w sprawie tragicznego wypadku z udziałem Tesli Model S. Wypadku, w którym Model S w trybie zautomatyzowanej jazdy (bo nie autonomicznej) doprowadził do śmierci jego właściciela.
Tragedia miała miejsce 7 maja tego roku i, zgodnie z procedurami, producent od razu poinformował o tym zdarzeniu NHTSA.
We wpisie na firmowym blogu Tesla dosyć dokładnie opisała okoliczności tego zdarzenia i warunki, w których Autopilot zawiódł.
System nie rozpoznał poruszającej się prostopadle do kierunku jazdy Modelu S przyczepy. Powód? Przyczepa była biała i znajdowała się na tle jasnego nieba.
Przyczepy nie zauważył także, a przynajmniej nie podjął w związku z tym żadnych kroków, również i kierowca Tesli. Kierowca, który na swoim koncie na YouTube miał całą masę filmów z Teslą i Autopilotem - w tym i taki, gdzie otarł się o śmierć.
Nie zostały więc uruchomione żadne systemy bezpieczeństwa i samochód, poruszający się prawdopodobnie z prędkością autostradową, uderzył w przyczepę. Na tyle niefortunnie, że przez wzgląd na wysoki prześwit przyczepy, Tesla Model S wjechała pod nią i kontakt miał miejsce dopiero na wysokości przedniej szyby. Producent zaznacza, że gdyby Model S uderzył np. w tył przyczepy, systemy bezpieczeństwa prawdopodobnie byłyby w stanie zapobiec poważniejszym obrażeniom. Niestety w takiej sytuacji większych szans nie miałby żaden samochód.
Mamy więc pierwszą, smutną śmierć w samochodzie w trybie zautomatyzowanej jazdy. Punkt wyjścia do kolejnych dyskusji na ten temat i zapewne argument dla osób, które są przeciwne wprowadzaniu takich funkcji. Nawet jeśli jest to pierwsza śmierć na 210 mln przejechanych kilometrów - dwa razy rzadziej, niż w przypadku samochodów kierowanych przez ludzi.
Warto więc w tym miejscu zadać kilka pytań. Po pierwsze:
Kto oddaje swoje życie w ręce oprogramowania w wersji „beta”?
Przy czym „beta” nie oznacza, że faktycznie jest to wersja tuż-tuż przed ostatecznym, ukończonym, w pełni niezawodnym produktem. „Beta” w przypadku Autopilota oznacza mniej więcej tyle, że jest to produkt niegotowy. A znając dzisiejsze standardy, nawet gdy „beta” zniknie, i tak regularnie będzie się go poprawiać. Do skutku.
Na razie więc żadnej odpowiedzialności - włączasz na własne życzenie i mimo nazwy, sam za wszystko odpowiadasz.
Niektórzy, ba, może nawet większość, przy takich zastrzeżeniach prawdopodobnie nie instalują nawet nowej wersji systemu operacyjnego w swoim telefonie. A tutaj ktoś zleca „becie” zadanie najwyższej wagi - ochronę własnego życia.
Nie, żebym nie rozumiał, dlaczego ludzie włączają tego typu systemy. To intrygująca nowość, fantastyczne doświadczenie (choć z kategorii tych lekko przerażających) i mogliśmy się przekonać o tym niedawno na własnej skórze z Marcinem Połowianiukiem, kiedy w nowym Volvo S90 oddawaliśmy stery maszynie. Ale tylko na chwilę, zawsze z pełną kontrolą nad tym, co dzieje się na drodze i zawsze z rękami w pobliżu kierownicy, i stopami w okolicach pedałów. A Volvo ufamy dużo bardziej niż Tesli.
A powód jest prosty.
To nie są autonomiczne samochody i bardzo, bardzo nam do nich daleko.
Żaden z modeli, który znajdziemy obecnie na rynku i który trafi na niego w najbliższej przyszłości, nie zasługuje w pełni na określenie autonomiczny. I żadnemu z nich nie oddałbym kontroli nad jazdą na dłuższą metę.
Tak, te samochody widzą już sporo. Ich cyfrowe mózgi rozumieją bardzo dużo i są w stanie podjąć często odpowiednie decyzje. Ale też potrafią być ślepe i głuche, kiedy dochodzi do krytycznej sytuacji. Do tego nigdy nie są w stanie przewidzieć, co zrobi kierowca po drugiej stronie.
A bez tego, ile byśmy kamer i radarów nie wsadzili do auta, te systemy będą tylko systemami pomocniczymi.
Autopilot, Pilot Assist czy podobne wyręczą nas na chwileczkę, kiedy chcemy sięgnąć po napój albo kiedy będziemy chcieli zmienić coś w ustawieniach samochodu. Zawsze to bezpieczniejsze, niż klasyczne puszczenie kierownicy i jazda przed siebie bez patrzenia na drogę.
Ale niech nawet na pokładzie będzie najlepsza na świecie kamera, najlepszy na świecie radar i najlepszy na świecie komputer z najlepszymi algorytmami - i tak mogą one nie zobaczyć kolejnej przyczepy. Dajmy na to, że tym razem błękitnej na tle błękitnego nieba.
Żeby całkowicie i ze spokojem odpuścić kierownicę, muszą się stać dwie rzeczy.
Po pierwsze, samochody muszą ze sobą rozmawiać. Komunikacja V2V i przy okazji V2I jest kluczowa, jeśli wizja autonomicznych samochodów i bezpieczniejszej jazdy ma w ogóle mieć sens. Tesla powinna wiedzieć o obecności przyczepy jeszcze zanim była w stanie ją dostrzec. Opieranie się wyłącznie na radarach i kamerach będzie zawsze zawodne i zawsze koszmarnie ryzykowne.
Wyobraźmy sobie jednak teraz, jak wiele czasu musi upłynąć, zanim standardy V2V zostaną wprowadzone na rynek, a potem jeszcze staną się standardem w każdym samochodzie jeżdżącym na drogach. To będą dekady, długie dekady.
Po drugie, nawet przy wprowadzeniu w 100 proc. V2V, nadal zostanie jeden element nieprzewidywalny - człowiek. Słynny, i podniesiony niedawno znowu, problem moralny autonomicznego samochodu pt. „kogo zabić”, wcale nie musi mieć miejsca w pewnym momencie przyszłości. Gdyby w wypadku miały uczestniczyć np. dwa samochody autonomiczne, komunikujące się cały czas ze sobą, oraz niewinny pieszy, istnieje spora szansa, że auta potrafiłyby tak zgrać z wyprzedzeniem swoje zachowania, żeby nikomu nie stała się poważniejsza krzywda. Jakaś może i tak, ale bez skutków śmiertelnych.
A taka sama sytuacja z autonomicznym samochodem, pieszym i samochodem prowadzonym przez ludzkiego kierowcę? Tutaj nigdy nie możemy być pewni, jak się to zakończy.
