Sztuczna inteligencja napisała maturę 2023. Jak GPT-4 poradził sobie z językiem polskim?

Pomimo że większość Polaków może mówić o maturze w języku przeszłym i przytaczać liczne anegdoty związane z ich własnymi doświadczeniami, na początku maja cały kraj żyje egzaminami dojrzałości. Ich wynik stanowi zarówno świadectwo całego, dwunastoletniego toku nauczania, jak i główny czynnik decyzyjny przy przyjęciu na studia. A dla tych, którzy są tylko biernymi obserwatorami czytającymi prasę, matury są niczym więcej jak ciekawostką na temat tego, z czym mierzą się właśnie młodzi dorośli.

Choć zadania maturalne zmieniają się co roku, to zakres materiału, który obejmują, jest powszechnie dostępny, w dużym uproszczeniu zawierając tylko to, czego przeciętny licealista nauczył się w ciągu całej swej szkolnej edukacji. Jednak w praktyce przypadki idealnego rozwiązania egzaminów maturalnych są rzadkie, a z czasem szkolna wiedza się rozmywa, sprawiając, że matura na poziomie podstawowym sprawia problemy osobom, które opuściły mury szkolne lata temu. A jak jest ze sztuczną inteligencją?

GPT-4 to obecnie najpotężniejszy model w stajni OpenAI, który firma reklamuje zarówno jego zwiększonymi możliwościami rozumienia intencji, generowania lepszej jakości treści i - co ważniejsze dla nas, Polaków - rozumienia języka innego niż angielski. No i nie zapominajmy: GPT-4, tak jak jego poprzednik GPT-3, został wytrenowany na setkach tysięcy artykułów, publikacji, książek oraz Wikipedii. Nie ma więc lepszej szansy dla GPT-4 na wykazanie się niż polskie matury.

Maturami "karmiłam" już wcześniej zarówno ChatGPT i GPT-4, jednak zwykle były to zadania z różnych lat i różnych przedmiotów. Teraz skupię się wyłącznie na języku polskim, a konkretnie na 7 zadaniach. Choć bardzo chciałabym przepuścić wszystkie zadania maturalne - których jest ponad 20, to ich ilość oraz treść na to nie pozwala. Treść, ponieważ niektóre zadania opierają się na załączonych w arkuszu ilustracjach lub relatywnie długich tekstach źródłowych. Dlatego wybrałam z arkusza kilka zadań i delikatnie zmieniłam ich sformułowanie na łatwiejsze dla zrozumienia dla sztucznej inteligencji.

Tekstem źródłowym w zadaniu był artykuł Agnieszki Krzemińskiej "Podróż jak prozak. Po co człowiekowi czasowa zmiana miejsca" opublikowany w Poradniku Psychologicznym "Polityki" (1/2019).

GPT-4 poprawnie zinterpretował zadanie, jednakże jego odpowiedź jest zbyt długa i nacechowana licznymi powtórzeniami ("autor zauważa", "podróże"). Jednak tylko teoretycznie rozwiązanie zadania jest za długie, jednak praktycznie treść polecenia nie ma ono z góry narzuconej długości, która tak czy tak różni się w zależności od pisma egzaminowanego.

Ponownie pojawia się problem długości, jednocześnie według nieoficjalnego klucza odpowiedzi, drugi akapit po drobnej redukcji długości byłyby dobrą odpowiedzią na zadanie.

I to jest akurat ciekawe bo... GPT-4 się wywalił. Motyw wspólny dla prac Naborowskiego i Halsa to "vanitas" (łac. marność), skupiony wokół fascynacji śmiercią i przemijaniem. Vanitas nawiązuje do średniowiecznego memento mori, jednak jest odmiennym motywem. Sztuczna inteligencja OpenAI traci właśnie jeden punkt.

Ze względu na użycie tabeli do przedstawienia zadania niemożliwym było przekazanie go sztucznej inteligencji w formacie takim, jak jest on w arkuszu egzaminacyjnym. Dlatego wstępna odpowiedź GPT-4 brzmiała 1 to pozytywizmu, 2 i 3 to Młoda Polska. Jednak po doprecyzowaniu pytania, model wskazał cytat numer 3 jako reprezentujący Młodą Polskę, w związku z czym jego odpowiedź zgadza się z nieoficjalnym kluczem odpowiedzi.

Wyręczyłam GPT-4 i samodzielnie wybrałam za niego "Szklane domy".

GPT-4 całkiem dobrze załapał, o jaką książkę chodzi (w przeciwieństwie do GPT-3.5, który swego czasu pisał kompletne głupoty przy pytaniach o literaturę pozytywistyczną). Mimo to jako egzaminujący uznałabym odpowiedzi GPT-4 za nadinterpretację i zbytnie skupienie się na wartości logicznej wyrażenia "szklane domy". Sztuczna inteligencja całkowicie pominęła kontekst samej powieści, w której to ojciec Cezarego Baryki przedstawił mu Polskę zabudowaną nowoczesnymi, szklanymi domami i stanowiły symbol utopijnej wizji Seweryna Baryki.

Ponownie wracamy do problemu długości, ale co ważniejsze pojawił się problem punktowania przez GPT-4 argumentów. Podczas pracy z GPT-4, która wymagała argumentacji, model wykazywał silną preferencję punktowania argumentów. Ponadto odpowiedź sztucznej inteligencji - choć poprawna - właściwie nie wymagała punktowania, gdyż cały ostatni akapit byłby wystarczający do zaliczenia zadania.

Postawiony przed sześcioma (z ponad 20) zadań GPT-4 poradził sobie całkiem nieźle. Co prawda popełnił kilka błędów rzeczowych, lecz w zadaniach, w których zadanie byłoby bez wątpienia zaliczone poradził sobie całkiem nieźle. Warto także zauważyć, że nie GPT-4 praktycznie nie popełnił żadnego błędu ortograficznego, interpunkcyjnego czy gramatycznego (co nie jest tak oczywiste w przypadku innych dużych modeli językowych).

Kilka razy wytknęłam SI zbyt długie rozwinięcie odpowiedzi, co jest problemem trudnym do rozwiązania. Bo z jednej strony to wina promptu - nie precyzował długości, z drugiej same zadania nie miały sprecyzowanej długości wypowiedzi, a jedynie pole, które wskazuje maturzystom orientacyjną długość tekstu.

Nawet pomimo faktu, że nie jest to moja pierwsza zabawa z GPT-4, to możliwości modelu nadal mnie pozytywnie zaskakują. Matura napisana przez GPT-4 na pewno nie jest na "sto procent", ale na mocne 70 procent? Pewnie tak.