Google sprawdza, czy AI naprawdę rozumie dokumenty. Zbudował test 200 zadań

Co się stanie, jeśli chatbot zamiast zwykłego tekstu dostanie rysunki techniczne, skomplikowane wykresy, skany i arkusze kalkulacyjne, a na ich podstawie będzie musiał przygotować gotowy projekt? Google DeepMind postanowił to sprawdzić. Wspólnie z Artificial Analysis opracował benchmark MKA, składający się z 200 zadań wzorowanych na prawdziwej pracy specjalistów. Wyniki pokazują, że nawet najbardziej zaawansowane modele AI nadal mają spore problemy z dokumentami, z którymi ludzie pracują każdego dnia.

Nowy test nosi nazwę Multimodal Knowledge Agent, w skrócie MKA. Jego celem jest sprawdzenie, jak sztuczna inteligencja radzi sobie z zadaniami wymagającymi jednoczesnej analizy tekstu, obrazów i danych zapisanych w różnych formatach. W przygotowaniu benchmarku uczestniczyli eksperci reprezentujący 83 zawody z 10 branż. Znaleźli się wśród nich architekci, inżynierowie, lekarze, analitycy finansowi, prawnicy i naukowcy. Każdy projekt został opracowany tak, aby odpowiadał rzeczywistym obowiązkom zawodowym.

Nie chodzi jednak wyłącznie o znalezienie jednej odpowiedzi w długim PDF-ie. Agent otrzymuje zestaw plików, musi odnaleźć potrzebne informacje, połączyć je i przygotować gotowy rezultat. Może to być raport, arkusz kalkulacyjny, prezentacja albo dokumentacja techniczna.

Według Google wykonanie pojedynczego zadania zajęłoby doświadczonemu specjaliście od 3 do 8 godzin. Dla każdego przygotowano szczegółowe kryteria oceny, pozwalające sprawdzić zarówno poprawność informacji, jak i jakość przygotowanego materiału. Gemini potrafi już samodzielnie generować pliki Worda, Excela i PDF. Nowy benchmark stawia jednak trudniejsze pytanie: czy zawartość takiego pliku jest naprawdę poprawna?

Jedno z przykładowych zadań dotyczy dokumentacji architektonicznej. Agent otrzymuje plany 5 kondygnacji, przekroje budynku i rysunki elewacji. Musi sprawdzić, czy rozmieszczenie drzwi, okien i innych elementów jest ze sobą zgodne.

Na koniec ma przygotować prezentację wskazującą znalezione nieprawidłowości, popartą fragmentami odpowiednich rysunków. Samo odczytanie opisów nie wystarczy. Trzeba zrozumieć, co przedstawiają linie, symbole i wymiary.

W innym zadaniu sztuczna inteligencja analizuje dachy budynków w Nottingham pod kątem montażu paneli fotowoltaicznych. Dostaje mapy, dane wysokościowe, informacje o nasłonecznieniu i miejskich nieruchomościach. Następnie ma wybrać najlepsze lokalizacje i przygotować raport.

To właśnie takie zadania mają odróżniać sprawnego asystenta od systemu, któremu można rzeczywiście powierzyć projekt. Microsoft rozwija podobnych agentów w Wordzie, Excelu i PowerPoincie, ale stworzenie atrakcyjnej prezentacji nie gwarantuje jeszcze poprawności przedstawionych w niej obliczeń.

Wyniki opublikowane przez Artificial Analysis pokazują, że na czele zestawienia znalazł się Claude Fable 5.2 z wynikiem 56,6 proc. w kategorii najtrudniejszych kryteriów. Drugie miejsce zajął Gemini 4 Carbon, osiągając 54,3 proc., a trzecie Claude Opus 5.5 z wynikiem 53 proc.

Warto więc wyjaśnić, co oznaczają te liczby. Nie jest to odsetek projektów ukończonych bezbłędnie, lecz średni ważony udział spełnionych wymagań w trudniejszej części testu. Wyniki trzech czołowych modeli są przy tym na tyle zbliżone, że badacze nie uznali różnic między nimi za statystycznie rozstrzygające.

Google zwraca uwagę również na same koszty. Gemini 4 Carbon uzyskał rezultat zbliżony do lidera, zużywając znacznie mniej tokenów. Według raportu koszt jego pracy w przeliczeniu na zadanie był ponad 6 razy niższy niż w przypadku Claude Fable 5.2.

Różnice w sposobie działania modeli są ogromne. Jednym wystarczało średnio około 30 interakcji z narzędziami, inne potrzebowały niemal 130. Wszystkie pracowały jednak w tym samym środowisku, korzystając z podobnego zestawu możliwości.

Badacze przeprowadzili również ciekawy eksperyment. Pozbawili Gemini 4 Carbon narzędzia do bezpośredniego oglądania obrazów, pozostawiając dostęp do kodu i programów analizujących pliki. Model próbował sobie poradzić na różne sposoby. Przekształcał obrazy w znaki tekstowe, korzystał z bibliotek komputerowego rozpoznawania obrazu i pisał dodatkowe skrypty. Część informacji rzeczywiście udało mu się w ten sposób odzyskać.

Kosztowało go to jednak znacznie więcej pracy. Wynik w trudniejszych kryteriach spadł o 5,94 punktu procentowego, a zużycie tokenów wejściowych wzrosło o 85 proc. Przy zdjęciach medycznych i innych złożonych obrazach spadki jakości bywały jeszcze większe.

To interesujący kontrast wobec wcześniejszych testów modeli AI analizujących obrazy i diagramy. Rozpoznanie przedmiotu na zdjęciu jest czymś innym niż poprawne wykorzystanie szczegółów rysunku w wieloetapowym projekcie.

Sprawdzanie 200 skomplikowanych projektów wykonanych przez wiele modeli byłoby ogromnym przedsięwzięciem. Dlatego twórcy benchmarku wykorzystali kolejnego agenta AI, który otwiera gotowe pliki, analizuje formuły, ogląda strony i porównuje rezultaty z wymaganiami ekspertów.

W badaniu kontrolnym obejmującym 50 zadań automatyczny system oceniania zgadzał się z ludzkimi specjalistami w 96,2 proc. pojedynczych ocen. To wysoka zgodność, choć nie gwarantuje bezbłędnego oceniania wszystkich projektów.

Pełen zestaw 200 zadań pozostaje niepubliczny, aby modele nie mogły wcześniej poznać poprawnych rozwiązań. Udostępniono natomiast 10 odrębnych przykładów, dzięki którym zainteresowani mogą sprawdzić sposób działania benchmarku. Szczegółową metodologię oraz wyniki opisano w raporcie technicznym Google DeepMind. Ranking jest dostępny w serwisie Artificial Analysis.

Nowe wyniki mogą ostudzić entuzjazm firm, które chciałyby przekazać agentom AI całe procesy analityczne. Model potrafi szybko przygotować rozbudowany dokument, ale nadal może przeoczyć istotny szczegół na rysunku lub źle połączyć dane z kilku plików. Przed podobnym problemem przestrzegali już eksperci analizujący zastosowania agentów AI w pracy. Im bardziej złożone zadanie, tym trudniej wykryć błąd ukryty w pozornie profesjonalnym rezultacie.

MKA nie mierzy zresztą rozumienia w ludzkim czy filozoficznym sensie. Sprawdza, czy system potrafi wykorzystać informacje wizualne i przygotować poprawny, praktyczny produkt pracy.

Przeczytaj także:

*Źródło grafiki wprowadzającej: Chaosamran_Studio, Getty Images, Canva Pro / Canva Pro