ChatGPT oblał egzamin z medycyny na polskim uniwersytecie. Czy i kiedy AI będzie nas leczyć?
Uniwersytet Mikołaja Kopernika w Toruniu postanowił sprawdzić, czy obecna sztuczna inteligencja jest w stanie zdać egzamin z medycyny. Naukowcy podzielili się wynikami badań.
Przeprowadzony egzamin dotyczył specjalistycznej dziedziny nazywanej potocznie "interna" – działu, który skupia się na schorzeniach narządów wewnętrznych. Sztuczna inteligencja została potraktowana na podobnych warunkach jak człowiek, który przystępuje do egzaminu. Test składał się z 120 pytań, gdzie w każdym zadaniu tylko jedna z pięciu odpowiedzi jest prawidłowa.
ChatGPT oblał egzamin z medycyny. Naukowcy podają dane
Tak jak możemy się spodziewać, egzamin z medycyny nie był najprostszy dla sztucznej inteligencji. Naukowcy musieli zdecydować się na pewne kompromisy, które wynikały przede wszystkim ze względów technicznych. W egzaminach pisemnych usunięto część pytań, na które oprogramowanie firmy OpenAI nie byłoby w stanie odpowiedzieć – m.in. takie, w których są obrazki lub elementy analityczne powiązane z innymi pytaniami.
Sztuczna inteligencja zaliczyła 10 sesji, w których zadano łącznie 1191 pytań i w różnych podejściach uzyskiwano różny wynik. ChatGPT ani razu nie zdał polskiego egzaminu z medycyny – wyniki mieściły się w przedziale między 47,5 a 53,3 proc. Aby przejść do części ustnej, trzeba zdobyć wynik co najmniej 60 proc., więc sztuczna inteligencja nawet nie była blisko tej wartości.
Naukowcy przeanalizowali sposób działania AI i doszli do ciekawych wniosków. ChatGPT podobnie jak ludzie radził sobie najlepiej z pytaniami uznawanymi za prostsze. Nawet w tej kwestii potrafił przewyższyć człowieka, natomiast nie zauważono korelacji między długością pytania a jakością odpowiedzi. Zdarzały się dłuższe pytania, w których sztuczna inteligencja po prostu sobie nie dawała rady – przede wszystkim pytaniach, gdzie ważną rolę było wykorzystanie słowa klucza. Były także przypadki, w których sztuczna inteligencja znała odpowiedź na określone pytania, ale mimo tego zaznaczała błędną.
Naukowcy doszli do ciekawych wniosków – m.in. to, że od wielu lat pacjenci "Googlują" najróżniejsze choroby i sami diagnozują choroby na podstawie tego, co piszą w internecie. Na podobnej zasadzie działają czatboty sztucznej inteligencji, więc pytając ChatGPT o objawy najprawdopodobniej otrzymamy podobną odpowiedź jak w wyszukiwarce.
Teraz te możliwości jeszcze się poszerzają, bo z ChatemGPT czy Gemini można porozmawiać o swoich chorobach. Oba czaty bazują na informacjach z Google lub innych wyszukiwarek, więc nie dajmy się nabrać, ich diagnoza nie będzie lepsza.
– dr Szymon Suwała z Katedry Endokrynologii i Diabetologii Wydziału Lekarskiego Collegium Medicum UMK
Całe przedsięwzięcie zostało wykonane z czystej ciekawości. Za granicą – m.in. w Stanach Zjednoczonych - pojawiły się już sytuacje, w których ChatGPT potrafił zdać egzamin z medycyny, natomiast jak widać w Polsce to nie przeszło. Naukowiec z Uniwersytetu Mikołaja Kopernika twierdzi, że minie dużo czasu, zanim sztuczna inteligencja (ChatGPT, Gemini) zda egzamin.
A nawet gdyby była w stanie, to wciąż nie jest w stanie wyleczyć drugiego człowieka.
Więcej o sztucznej inteligencji przeczytasz na Spider's Web:
