Zadawanie takich pytań to proszenie się o kłopoty. Eksperci mówią, o czym nie rozmawiać z botem
Zdaniem ekspertów z dziedziny AI, czatboty nie spełniają się jako doradcy finansowi. Systemy AI są nie tylko oderwane od rzeczywistości, ale i nie potrafią liczyć.
Nasze ulubione czatboty można zapytać o każdą kwestię, która nas nurtuje, otrzymać sugestię dalszego działania, albo po prostu wysłużyć się możliwością generowania tekstu. Sugestia dbania o nowo zakupioną roślinę, wyjaśnienie chemicznych i fizycznych podstaw działania przedmiotów codziennego użytku, czy treść życzeń na kartce urodzinowej.
Jednak tego samego nie można powiedzieć o poradach dotyczących finansów osobistych. Zdaniem naukowców i ekonomistów, ChatGPT, Grok, Gemini czy DeepSeek są w stanie wprowadzić użytkowników w poważne tarapaty.
Proszenie czatboty o doradztwo finansowe to proszenie się o kłopoty
Grupa badaczy sztucznej inteligencji i ekonomistów, w skład której weszli Gary Smith, Valentina Liberman i Isaac Warshaw z amerykańskiego Walter Bradley Center for Natural and Artificial Intelligence postanowiła sprawdzić, czy internauci mogą polegać na dużych modelach językowych sztucznej inteligencji w kwestiach doradztwa finansowego. W tym celu stworzyli oni kwestionariusz 12 pytań z zakresu prywatnych finansów, które dotykały kwestii takich jak zakup elektroniki na raty, inwestowania na giełdzie, ubezpieczeń na życie czy rozpoczęcia małego biznesu gastronomicznego.
Następnie odpowiedzi czatbotów zostały ocenione w skali od 0 do 1: 0 - niepoprawna analiza finansowa, 0,5 - poprawna analiza finansowa, ale zawierająca błędy matematyczne oraz 1 - poprawna analiza finansowa poparta właściwymi obliczeniami. Odpowiedzi, zebrane przez badaczy w osobnym dokumencie, były obszerne i szczegółowe, ale w zdecydowanej większości niepoprawne. Na 12 możliwych punktów, ChatGPT (model GPT-4o) uzyskał wynik 5,0, DeepSeek 4,0, Grok 3,0, a Gemini zaledwie 1.5.
Spodziewaliśmy się, że duże modele językowe w czasie szkolenia otrzymają wiele eksperckich materiałów, które poinstruują je, aby brały pod uwagę wartość pieniądza w czasie, ale rzadko to robiły
Badacze byli porażeni liczbą błędów w odpowiedziach generowanych przez AI. Czatboty popełniały błędy gramatyczne, składniowe, leksykalne, a także podstawowe błędy matematyczne. Przykładowo, Grok wygenerował odpowiedź "Początkowy miesięczny koszt: 3700 dolarów (czynsz) + 200 dolarów (szacowane opłaty za media) = 4900 dolarów miesięcznie".
Suche liczby, bez przełożenia na rzeczywistość
Innym typowym błędem miało być "oderwanie od rzeczywistości" i traktowanie pytań jako zadań matematycznych, nieuwzględniających zmiennych i naturalnych prawidłowości. W pytaniu dotyczącym wypłacania renty począwszy od 80 roku życia, DeepSeek założył, że "płatności są kontynuowane w nieskończoność" - ignorując fakt, że użytkownik zadający pytanie jest śmiertelny.
Jedyne pytanie, na które wszystkie czatboty odpowiedziały poprawnie dotyczyło opodatkowania w przypadku bezpośredniego dokonywania opłat za czesne na konto uczelni. Ich zdaniem poprawność odpowiedzi wynika z faktu, że pytanie jest często zadawane w internecie, a odpowiedź na nie można znaleźć w prosty sposób w wyszukiwarce.
Według badaczy duże modele językowe sztucznej inteligencji - poprzez przyjacielski i konwersacyjny styl wypowiedzi - jedynie sprawiają wrażenie ludzkiej inteligencji.
W przeciwieństwie do doradców finansowych, którzy rozwijają swoją wiedzę poprzez edukację i doświadczenie, LLM generują odpowiedzi w oparciu o wzorce słowne w ogromnych zbiorach danych, ulepszone przez dostrajanie. [LLM] nie są w stanie przewidzieć każdego pytania, które może zostać zadane, ani różnorodnych zindywidualizowanych niuansów wymaganych do udzielenia wiarygodnych odpowiedzi. [...] Wydają się być ekspertami, ale nimi nie są. Wciąż prawdziwym zagrożeniem nie jest to, że komputery są mądrzejsze od nas, ale to, że myślimy, że komputery są mądrzejsze od nas i w konsekwencji ufamy im w podejmowaniu decyzji, w kwestii których nie powinniśmy im ufać
Może zainteresować cię także:
Zdjęcie główne: Primakov / Shutterstock
