Gemini nie jest aż tak świetny, jak twierdzi Google. Oto jak koncern naciąga rzeczywistość

Gemini to nowo zaprezentowany duży model językowy Google'a, który koncern zapowiedział podczas konferencji I/O 2023. Już wtedy wobec modelu postawiono duże oczekiwania, a prasa nazywała go "odpowiedzią Google na GPT-4".

Jak dowiedzieliśmy się dwa dni temu, koncern sprostał zadaniu, a sam Sundar Pichai nazwał Gemini "najbardziej wydajnym i pojętnym modelem, jaki kiedykolwiek zbudowało Google". Jednak nie jest to do końca prawdą.

Szybko przypomnę, że Gemini 1.0 występuje w trzech wersjach: Ultra - skierowanej do dużych firm, posiadających infrastrukturę i środki, by utrzymać potężny model, Pro - najbardziej ogólna wersja, zorientowana na szerokie spektrum zadań oraz Nano - najmniejszej, która posiada zaledwie 1,8 lub 3,25 miliarda (zależnie od wariantu) parametrów, stworzonej z myślą o działaniu bezpośrednio na urządzeniu (np. na komputerze lub smartfonie). Model Pro znajdziemy obecnie w anglojęzycznej wersji Barda, a Nano ma trafić do smartfonów Google Pixel. Natomiast Ultra zostanie wkrótce udostępniony "wybranym klientom".

I tu zaczynają się schody. Bowiem w raporcie technicznym opisującym trening, działanie i możliwości Gemini, wszystkie trzy wersje modelu porównywane są w różnych benchmarkach do najlepszych modeli w danej kategorii (kategorii, gdyż Gemini jest multimodalny i informacjami, które można zawrzeć w promptcie jest nie tylko tekst, ale też grafika, dźwięk czy dokumenty). Sęk w tym, że sposób, w jaki Google zwizualizował dane, odciąga oczy od faktu, jak kiepsko radzą sobie warianty Pro i Nano. Choć koncern sprawiedliwie pokazał, w którym benchmarku wygrywa dany model (i nie był to za każdym razem Gemini), to po bliższym przyjrzeniu się można zauważyć, że Ultra (czyli wariant, do którego przeciętny użytkownik czy małe i średnie przedsiębiorstwa na razie nie mają dostępu - o ile w ogóle) pokonuje GPT-4 o zaledwie kilka procent.

Inna kontrowersja pojawiła się krótko po tym, jak Google opublikował wideo promujące Gemini 1.0 pokazujące jego możliwości.

W opisie filmu Google zawarło krótką informację:

Oznacza to, że podczas realizacji wideo wygenerowanie odpowiedzi zajmowało modelowi AI znacznie więcej czasu, niż jest to pokazane, a same odpowiedzi zostały zmodyfikowane przez Google'a tak, by były krótsze.

Unikalność działania Gemini na filmie podważył także Ethan Mollick, profesor Wharton School Uniwersytetu Pensylwanii. W postach opublikowanych na X pokazał on, że GPT-4 postawiony przed tymi samymi zadaniami wykonuje je z prawdopodobnie (prawdopodobnie, gdyż Google zmodyfikowało treści wygenerowane przez AI) identyczną dokładnością.

Lecz to nie koniec kontrowersji wokół wideo, bowiem w nocy z 7 na 8 grudnia Oriol Vinyals, jeden z pracowników Google DeepMind i wiceprzewodniczący projektu Gemini, ujawnił, że w rzeczywistości... całe wideo było inscenizowane. Nie było bezpośrednim pokazem tego co potrafi Gemini, a jedynie "jak mogą wyglądać multimodalne doświadczenia użytkownika zbudowane za pomocą Gemini" i miało na celu "zainspirować programistów". Gemini nie odpowiadał w czasie rzeczywistym na wideo, a jedynie na klatki z filmu (czyli de facto zdjęcia), które przedstawiały fragmenty filmu niezbędne AI do zinterpretowania sytuacji.

Ponadto Google nie sprecyzował, która wersja Gemini została użyta do nagrania filmu. W domyśle był to ponownie niedostępny Ultra.

Więcej na temat sztucznej inteligencji:

Zdjęcie główne: Robert Way / Shutterstock