Polski najlepszym językiem dla botów. Kochają naszą gramatykę
Nie angielski, nie chiński - tylko polski. Jak udowadniają naukowcy, sztuczna inteligencja rozumie komunikaty w języku polskim lepiej niż we wszystkich pozostałych językach. A to ze względu na naszą zawiłą gramatykę.
Wielojęzyczna sztuczna inteligencja może zyskać nowe centrum ciężkości - i to zupełnie nie tam, gdzie większość się go spodziewa. Zgodnie z wynikami badania opublikowanego w ramach prestiżowej konferencji COLM 2025, to język polski osiągnął najwyższą skuteczność w pracy z dużymi modelami językowymi (LLM), bijąc na głowę angielski, chiński, a nawet francuski i niemiecki.
W centrum badania przeprowadzonego przez badaczy z Microsoftu i naukowców z Uniwerystetu Maryland w USA znalazł się benchmark ONERULER - nowe narzędzie służące do testowania zdolności modeli AI do przetwarzania długich dokumentów w różnych językach.
Nowy standard w badaniach nad AI. I język, który niespodziewanie bryluje
ONERULER to rozszerzenie wcześniejszego anglojęzycznego testu RULER, przystosowane do 26 języków, obejmujących zarówno tzw. języki wysokozasobowe (z dużą liczbą danych treningowych), jak i niskozasobowe (np. sesotho, tamilski, suahili). W swoim badaniu oprócz przedstawienia benchmarku ONERULER, naukowcy wykorzystali go do sprawdzenia, jak dobrze nowoczesne modele AI - w tym OpenAI o3-mini-high, Google Gemini 1.5 Flash, Llama 3 i Qwen 2.5 - radzą sobie z rozumieniem bardzo długich danych tekstowych, sięgających nawet 128 tysięcy tokenów, czyli równowartości kilkudziesięciu stron tekstu.
Modele były testowane pod kątem dwóch umiejętności: wyszukiwania informacji w długim tekście (tzw. needle-in-a-haystack, "igła w stogu siana") oraz agregowania danych (np. zliczania najczęściej występujących słów)/
Szczególnie istotnym elementem badania był wariant "None-NIAH" - test, w którym poprawną odpowiedzią mogło być "brak odpowiedzi". To miało sprawdzić, czy modele potrafią powstrzymać się od halucynowania, czyli wymyślania odpowiedzi, gdy nie mają wystarczających danych.
Polska górą, angielski dopiero szósty. Chiński prawie na końcu
W najbardziej wymagających zadaniach z długim kontekstem (64 tys. i 128 tys. tokenów), język polski uzyskał średnią skuteczność na poziomie 88 proc., co dało mu pierwsze miejsce w rankingu. Za nim uplasowały się m.in. rosyjski, francuski, włoski i hiszpański. Angielski osiągnął wynik 83,9 proc., co dało mu dopiero szóstą pozycję, a chiński - mimo ogromnych zasobów danych używanych do trenowania modeli - znalazł się na czwartym miejscu od końca ze średnią skutecznością 62,1 proc..
Według autorów badania (Yekyung Kim, Jenna Russell, Marzena Karpińska, Mohit Iyyer) to pokazuje, że dostępność danych nie zawsze przekłada się na skuteczność modeli. W grze pojawiają się inne czynniki - takie jak struktura gramatyczna, jednoznaczność składniowa czy typ używanego alfabetu. I właśnie tutaj polski może mieć przewagę.
Dlaczego AI "lubi" polski?
Choć ONERULER nie odpowiada wprost na pytanie, dlaczego język polski wypadł tak dobrze, badacze wysuwają kilka hipotez. Jedna z nich dotyczy bogatej i precyzyjnej gramatyki polszczyzny, która - choć uciążliwa dla uczniów - ogranicza niejednoznaczności w zdaniach. A to z kolei ułatwia sztucznej inteligencji analizę i wyciąganie trafnych wniosków z długich tekstów.
Co ciekawe, w pierwszej dziesiątce języków znalazły się wyłącznie języki słowiańskie, romańskie i germańskie, wszystkie korzystające z alfabetu łacińskiego lub cyrylicy i mające duże zasoby encyklopedyczne. Natomiast języki używające innych systemów pisma (np. chiński, koreański, japoński) radziły sobie gorzej - mimo licznych użytkowników i dużych zbiorów treningowych.
Modele halucynują mniej po polsku?
ONERULER ujawnił także kilka interesujących błędów i ograniczeń modeli AI. W wariancie testu, w którym odpowiedzi mogło nie być, modele - zwłaszcza OpenAI o3-mini-high - często błędnie zgłaszały "brak odpowiedzi", mimo że poprawna odpowiedź była obecna. Z kolei w języku polskim modele miały znacznie mniejszą tendencję do tego typu błędów, co dodatkowo podbiło wynik języka polskiego.
Agregacja danych - czyli np. zadanie polegające na wyłonieniu najczęściej występujących słów z długiej listy - okazała się znacznie trudniejsza niż samo wyszukiwanie informacji. W trudniejszym wariancie zadania żaden z testowanych modeli nie osiągnął dokładności wyższej niż 1 proc.
Polskie władze już inwestują w AI
Warto dodać, że to nie pierwsza sytuacja, w której język polski zyskuje uznanie w świecie sztucznej inteligencji. Przypomnijmy, że polski rząd uruchomił niedawno projekt PLLuM - pierwszy duży model językowy stworzony z myślą o języku polskim i zastosowaniach publicznych. Częstochowa już korzysta z tego rozwiązania w pracy urzędów, a czatbot działający dzięki modelowi PLLuM zawita także do aplikacji mObywatel.
Autorzy benchmarku ONERULER mają nadzieję, że ich narzędzie pomoże w przyszłości udoskonalić modele AI - zwłaszcza pod kątem długiego kontekstu i obsługi wielu języków. Dla Polski to nie tylko powód do dumy, ale też szansa na większy wpływ w globalnym wyścigu AI. Bo skoro język polski najlepiej "dogaduje się" ze sztuczną inteligencją - być może czas, byśmy rozmawiali z nią częściej.
Może zainteresować cię także:
