REKLAMA
  1. Spider's Web
  2. Technologie
  3. Oprogramowanie

Gemini nie jest aż tak świetny, jak twierdzi Google. Oto jak koncern naciąga rzeczywistość

Gemini miał być tym, czym Google - mówiąc kolokwialnie - "pozamiata" OpenAI i jego model GPT-4. Jednak póki co Gemini jest w ogniu krytyki, gdyż koncern marketingowo trochę naciągnął możliwości swojego dużego modelu językowego sztucznej inteligencji. Gemini w swoim największym i najbardziej niedostępnym wariancie zaledwie dorównuje GPT-4.

08.12.2023
10:26
Gemini
REKLAMA

Gemini to nowo zaprezentowany duży model językowy Google'a, który koncern zapowiedział podczas konferencji I/O 2023. Już wtedy wobec modelu postawiono duże oczekiwania, a prasa nazywała go "odpowiedzią Google na GPT-4".

Jak dowiedzieliśmy się dwa dni temu, koncern sprostał zadaniu, a sam Sundar Pichai nazwał Gemini "najbardziej wydajnym i pojętnym modelem, jaki kiedykolwiek zbudowało Google". Jednak nie jest to do końca prawdą.

REKLAMA

Gemini to najlepszy model AI Google, ale prawdopodobnie nie najlepszy dostępny na rynku

Szybko przypomnę, że Gemini 1.0 występuje w trzech wersjach: Ultra - skierowanej do dużych firm, posiadających infrastrukturę i środki, by utrzymać potężny model, Pro - najbardziej ogólna wersja, zorientowana na szerokie spektrum zadań oraz Nano - najmniejszej, która posiada zaledwie 1,8 lub 3,25 miliarda (zależnie od wariantu) parametrów, stworzonej z myślą o działaniu bezpośrednio na urządzeniu (np. na komputerze lub smartfonie). Model Pro znajdziemy obecnie w anglojęzycznej wersji Barda, a Nano ma trafić do smartfonów Google Pixel. Natomiast Ultra zostanie wkrótce udostępniony "wybranym klientom".

I tu zaczynają się schody. Bowiem w raporcie technicznym opisującym trening, działanie i możliwości Gemini, wszystkie trzy wersje modelu porównywane są w różnych benchmarkach do najlepszych modeli w danej kategorii (kategorii, gdyż Gemini jest multimodalny i informacjami, które można zawrzeć w promptcie jest nie tylko tekst, ale też grafika, dźwięk czy dokumenty). Sęk w tym, że sposób, w jaki Google zwizualizował dane, odciąga oczy od faktu, jak kiepsko radzą sobie warianty Pro i Nano. Choć koncern sprawiedliwie pokazał, w którym benchmarku wygrywa dany model (i nie był to za każdym razem Gemini), to po bliższym przyjrzeniu się można zauważyć, że Ultra (czyli wariant, do którego przeciętny użytkownik czy małe i średnie przedsiębiorstwa na razie nie mają dostępu - o ile w ogóle) pokonuje GPT-4 o zaledwie kilka procent.

Wydajność w testach przetwarzania tekstu
Wydajność w testach rozumienia obrazu

Inna kontrowersja pojawiła się krótko po tym, jak Google opublikował wideo promujące Gemini 1.0 pokazujące jego możliwości.

W opisie filmu Google zawarło krótką informację:

"Na potrzeby tego demo opóźnienie zostało zmniejszone, a odpowiedzi Gemini zostały skrócone."

Oznacza to, że podczas realizacji wideo wygenerowanie odpowiedzi zajmowało modelowi AI znacznie więcej czasu, niż jest to pokazane, a same odpowiedzi zostały zmodyfikowane przez Google'a tak, by były krótsze.

Unikalność działania Gemini na filmie podważył także Ethan Mollick, profesor Wharton School Uniwersytetu Pensylwanii. W postach opublikowanych na X pokazał on, że GPT-4 postawiony przed tymi samymi zadaniami wykonuje je z prawdopodobnie (prawdopodobnie, gdyż Google zmodyfikowało treści wygenerowane przez AI) identyczną dokładnością.

Lecz to nie koniec kontrowersji wokół wideo, bowiem w nocy z 7 na 8 grudnia Oriol Vinyals, jeden z pracowników Google DeepMind i wiceprzewodniczący projektu Gemini, ujawnił, że w rzeczywistości... całe wideo było inscenizowane. Nie było bezpośrednim pokazem tego co potrafi Gemini, a jedynie "jak mogą wyglądać multimodalne doświadczenia użytkownika zbudowane za pomocą Gemini" i miało na celu "zainspirować programistów". Gemini nie odpowiadał w czasie rzeczywistym na wideo, a jedynie na klatki z filmu (czyli de facto zdjęcia), które przedstawiały fragmenty filmu niezbędne AI do zinterpretowania sytuacji.

Ponadto Google nie sprecyzował, która wersja Gemini została użyta do nagrania filmu. W domyśle był to ponownie niedostępny Ultra.

Więcej na temat sztucznej inteligencji:

REKLAMA

Zdjęcie główne: Robert Way / Shutterstock

REKLAMA
Najnowsze
Aktualizacja: tydzień temu
Aktualizacja: tydzień temu
Aktualizacja: tydzień temu
Zobacz komentarze
REKLAMA
REKLAMA
REKLAMA