Chatboty właśnie zabiły coś ważnego w edukacji. Naukowcy mają złą wiadomość dla nauczycieli
Nadzieje na łatwe wykrywanie prac wygenerowanych przez sztuczną inteligencję i duże modele językowe próbowali już ukrócić programiści i inżynierowie. Ostatecznie stłamsił je dowód matematyczny.
Skąd wiadomo czy dane dzieło - na przykład tekst - zostało stworzone przez człowieka? Czy ChatGPT lub Bing AI pozostawiają po sobie jakieś ślady? Jakieś szczególne manieryzmy w wypowiedzi czy skłonności do stosowania jednych zwrotów nad innymi? Nad odpowiedziami na te pytania głowi się coraz więcej osób. Bo choć czatboty nowej generacji popełniają jeszcze błędy, tak już dziś ich wypowiedzi nie sposób odróżnić od wypowiedzi ludzkich.
Informatycy znający duże modele językowe od podszewki twierdzą, że zasada działania dużych modeli językowych w praktyce utrudnia lub uniemożliwia zdefiniowanie jakiegoś tekstu jako pochodzącego od sztucznej inteligencji. Szerzej o modelu GPT opowiadał na łamach Spider’s Web dr Tomasz Ludziejewski, tłumacząc czemu ChatGPT nigdy nie zacytuje cudzego maila, nawet jeśli był przez niego przetworzony. Ale może jednak jakoś się da?
Wyręczanie się ChatGPT kontra matematyka. Czy można wykryć oszustów?
Jak wynika z badania przeprowadzonego przez matematyków z Uniwersytetu Maryland (cytowane przez New Scientist) nie jest to możliwe. Co więcej, nie da się stworzyć mechanizmu nawet w ramach modeli językowych. Niektórzy bowiem sugerowali, by czatboty musiały być tak programowane, by w razie analizy łatwo dało się wykazać, że dana praca nie została wykonana przez człowieka.
Niestety, samo polecenie do SI, by ta przeredagowała wygenerowany przez SI tekst sprawia, że zaimplementowane wcześniej językowe znaki wodne przestają być wykrywalne (a raczej, skuteczność ich wykrywania spada do około 50 proc.). Matematycy podeszli też do zagadnienia stosując badanie metodą dowodu niemożliwości. Według ich wyliczeń, algorytmy do wykrywania dużych modeli językowych w tekście nigdy nie będą w pełni skuteczne. A skoro taki algorytm nie podaje dającego pewność wyniku, to jest bezużyteczny.
To oznacza niemałe wyzwanie dla wielu branż, w tym dla oświaty i mediów. Wygląda jednak na to, że przed rewolucją związaną ze sztuczną inteligencją ucieczki już nie ma. Być może zamiast zastanawiać się jak uchronić uczniów i studentów przed korzystaniem z ułatwiaczy pokroju ChatGPT, warto rozważyć nauczenie ich korzystania z tych narzędzi do tworzenia jeszcze pożyteczniejszej pracy.
