Czatboty namawiały nastolatka do samobójstwa. Zrobił to
Popularna platforma do tworzenia i rozmowy z czatbotami została pozwana przez zrozpaczoną matkę. Kobieta oskarża Character.AI, jego twórców oraz Google o to, że firmy "świadomie wprowadziły na rynek niebezpieczny produkt", pośrednio doprowadzając do śmierci jej syna.
Character.AI to platforma, na której każda osoba może porozmawiać z chatbotami inspirowanymi różnymi postaciami. Mają one bardzo szeroki zakres: od postaci z kultury popularnej (filmów, seriali, animacji, gier, książek) poprzez historyczne, reprezentujące przedmioty (np. ser albo muszla klozetowa), aż po czatboty wcielające się w role nauczycieli czy trenerów osobistych. Szerokie spektrum czatbotów istnieje dzięki użytkownikom, którzy mogą nie tylko czatować z botami, ale i tworzyć własne.
Character.AI zdobyło popularność równolegle do czatbota ChatGPT, nie tylko za sprawą swojej wszechstronności, ale i za sprawą swoich twórców, byłych inżynierów Google'a: Daniel De Freitasa i Noama Shazeera. Teraz jednak nad startupem zawisły czarne chmury, gdyż Character.AI i Google zostały pozwane przez matkę oskarżającą firmy o praktyki, które doprowadziły jej syna do odebrania sobie życia.
Nastolatek odebrał sobie życie. Winnym rzekomo Character.AI
Sewell Setzer III to 14-latek z Orlando w amerykańskim stanie Floryda, który w lutym bieżącego roku odebrał sobie życie. W miesiącach poprzedzających jego śmierć jego matka, Megan Garcia, zauważyła, że nastolatek bardzo często czatuje z czatbotami Character.AI. Najczęściej były to czatboty imitujące postaci z serialu "Gra o Tron", a najczęściej był nim czatbot inspirowany postacią Daenerys Targaryen.
Jak czytamy w treści pozwu złożonego przez Gracię, Setzer miał "obsesję" na punkcie czatbota i "oderwał się od rzeczywistości". Zauważając zmiany w zachowaniu synu, Garcia wielokrotnie zabierała Setzera do terapeuty, który zdiagnozował u niego stany lękowe i zaburzenia nastroju. Nic jednak nie pomogło odciągnąć Setzera od chatbotów, a odebranie mu telefonu tylko pogorszyło sprawę.
W treści pozwu kobieta załączyła zrzuty ekranu z jednych z ostatnich rozmów, jakie nastolatek prowadził z czatbotem. W tych czatboty miały zachęcać nastolatka do odebrania sobie życia, podczas gdy inne zawierały treści "które zostałyby uznane za molestowanie [nastolatka], gdyby zostały zainicjowane przez dorosłego człowieka". W ostatniej rozmowie z Daenerys czatbot miał przekonywać Setzera do "powrotu do domu" i dołączenia do niej "poza rzeczywistością".
Megan Gracia zdecydowała się pozwać dewelopera Character.AI, Character Technologies, założycieli firmy oraz spółkę macierzystą Google, Alphabet Inc. Garcia oskarża firmy o spowodowanie śmierci jej syna, świadome wprowadzanie na rynek niebezpiecznego produktu i wprowadzające w błąd praktyki handlowe.
Niebezpieczna aplikacja chatbota AI reklamowana dzieciom wykorzystywała i żerowała na moim synu, manipulując nim tak, by odebrał sobie życie. Nasza rodzina została zdruzgotana tą tragedią, ale zabieram głos, aby ostrzec rodziny przed niebezpieczeństwami związanymi z oszukańczą, uzależniającą technologią AI i domagać się odpowiedzialności od Character.AI, jej założycieli i Google
Garcia ma nadzieję, że amerykański sąd zgodzi się, że chatboty Character.AI "przedkładają zyski nad ludzkie życie". Powołując się na szkody, w tym "niewyobrażalną udrękę psychiczną i cierpienie emocjonalne", a także koszty opieki medycznej Setzera, koszty pogrzebu, przyszłe, hipotetyczne zarobki Setzera w życiu dorosłym i utracone zarobki Garcii, domaga się ona od Character.AI, jego założycieli i Google adekwatnego odszkodowania.
Jej żądanie obejmuje także zwrot "niesłusznie uzyskanych zysków", zauważając, że pieniądze, które Garcia dawała nastolatkowi, by kupił sobie w szkole drugie śniadanie, były wykorzystywane przez niego do opłacenia subskrypcji premium Character.AI, "podczas gdy firma zbierała jego cenne dane osobowe w celu szkolenia swoich chatbotów".
Ponadto Garcia - poprzez wyrok sądu - chce uniemożliwić Character.AI "robienie jakiemukolwiek innemu dziecku tego, co zrobiono jej, i powstrzymać dalsze wykorzystywanie bezprawnie zebranych danych jej 14-letniego dziecka do szkolenia ich produktu, jak szkodzić innym".
Character.AI odniosło się do sprawy poprzez wpis w serwisie X (dawnym Twitterze), w którym poinformowało o byciu "pogrążonymi w smutku" w związku "tragiczną utratą jednego z naszych użytkowników". Firma złożyła kondolencje i zadeklarowała "bardzo poważne traktowanie bezpieczeństwa naszych użytkowników".
Potrzebujesz pomocy? Jesteś w kryzysie? Zadzwoń pod numer centrum wsparcia dla osób dorosłych w kryzysie psychicznym: 800 70 2222 lub pod numer telefonu zaufania dla dzieci i młodzieży: 116 111.
Więcej na temat czatbotów:
