REKLAMA

Meta chwaliła się najlepszym czatbotem na rynku. Internet szybko to zweryfikował

Najnowsza premiera modelu AI Mety pokazuje, że nie można ufać słupkom i wykresom z wynikami z testów porównawczych.

Meta chwaliła się najlepszym czatbotem na rynku. Internet szybko to zweryfikował
REKLAMA

Kilka dni temu Meta zaprezentowała nowe duże modele językowe sztucznej inteligencji z rodziny Llama 4: mniejszy Scout oraz większy, Maverick. Premiera obyłaby się bez większego echa gdyby nie fakt, że Meta zadeklarowała, że Maverick w testach porównawczych wypada lepiej niż flagowe modele AI od Google i OpenAI.

REKLAMA

Meta chciała pochwalić się swoim modelem AI. Z pokazu wyszedł skandal

Zaskakujące wyniki Mavericka zostały opublikowane nie tylko w biurze prasowym Mety, ale i w topliście LMArena - testu, w którym ludzie oceniają treści wygenerowane przez różne modele AI. Wyniki były sensacyjne, bowiem nagle Meta z firmy, która tworzy "całkiem okej" modele, zyskała tytuł firmy z modelem ocenianym przez użytkowników lepiej niż 4o OpenAI i tylko trochę gorzej niż Gemini 2.5 Pro.

Deklarowana wydajność Mavericka nie uszła uwadze środowisku badaczy i inżynierów sztucznej inteligencji i uczenia maszynowego, którzy zaczęli szukać przyczyn ponadprzeciętnych wyników. Jak donosi serwis TechCrunch, po zagłębieniu się w materiały udostępnione przez Metę - w szczególności wykres na oficjalnej stronie Llama - badacze odkryli, że do testów porównawczych użyto wersji Mavericka specjalnie dostrojonej do celów konwersacyjnych. Wersji, która nie została powszechnie udostępniona przez Metę.

Z konwersacyjnego Mavericka w formie czatbota można skorzystać na LM Arena, podczas gdy otwartoźródłowego Mavericka udostępnionego przez Metę można pobrać na komputery i uruchomić lokalnie - o ile ma się wystarczająco dobry komputer. Internauci porównali obie wersje modelu poprzez wpisywanie tych samych poleceń i instrukcji tekstowych (promptów). Maverick w LMArena miał dawać im znacznie lepsze odpowiedzi.

Sprawa zainteresowała także samo LM Arena, którego administratorzy usunęli Mavericka udostępnionego bezpośrednio przez Metę, zastępując go otwartoźródłową wersją dostępną w internecie.

Stanowisko zajęła także Meta, której rzecznika Ashely Gabriel zadeklarowała, że koncern "eksperymentuje z różnymi typami specjalnie dostosowanych wariantów" modeli AI.

„Llama-4-Maverick-03-26-Experimental” to wersja zoptymalizowana pod kątem czatu, z którą eksperymentowaliśmy, a która działa również dobrze na LMArenie. Wydaliśmy teraz naszą wersję open source i zobaczymy, jak programiści dostosowują Llama 4 do własnych przypadków użycia. Z niecierpliwością czekamy na ich opinie"

Więcej na temat AI:

Zdjęcie główne: M_Yunus / Shutterstock

REKLAMA
Najnowsze
Aktualizacja: 2025-07-10T19:46:41+02:00
Aktualizacja: 2025-07-10T16:52:19+02:00
Aktualizacja: 2025-07-10T16:33:32+02:00
Aktualizacja: 2025-07-10T16:12:59+02:00
Aktualizacja: 2025-07-10T15:48:53+02:00
Aktualizacja: 2025-07-10T13:41:31+02:00
Aktualizacja: 2025-07-10T12:18:46+02:00
Aktualizacja: 2025-07-10T12:08:04+02:00
Aktualizacja: 2025-07-10T10:42:51+02:00
Aktualizacja: 2025-07-10T09:53:17+02:00
Aktualizacja: 2025-07-10T08:11:11+02:00
Aktualizacja: 2025-07-10T07:00:00+02:00
Aktualizacja: 2025-07-10T06:24:13+02:00
Aktualizacja: 2025-07-10T06:22:00+02:00
Aktualizacja: 2025-07-10T06:11:00+02:00
Aktualizacja: 2025-07-10T06:00:00+02:00
Aktualizacja: 2025-07-09T19:42:40+02:00
Aktualizacja: 2025-07-09T17:28:43+02:00
Aktualizacja: 2025-07-09T16:00:00+02:00
Aktualizacja: 2025-07-09T16:00:00+02:00
Aktualizacja: 2025-07-09T16:00:00+02:00
Aktualizacja: 2025-07-09T16:00:00+02:00
Aktualizacja: 2025-07-09T15:31:29+02:00
REKLAMA
REKLAMA
REKLAMA