Wytrenowali bota na poziomie DeepSeek za 120 zł. Uczeni pokazali, jak bigtechy paliły pieniędzmi

Duży model językowy sztucznej inteligencji DeepSeek R1 wsławił się niezwykle niskim kosztem stworzenia, przy jednoczesnej wydajności porównywalnej z najlepszymi modelami OpenAI. Według deklaracji chińskiego startupu, koszt treningu DeepSeek R1 wyniósł niecałe 6 milionów dolarów, podczas gdy według różnych szacunków trening najważniejszych systemów AI OpenAI przekracza grubo 100 milionów dolarów.

A co gdyby tak zbić koszt treningu AI jeszcze bardziej? Do powiedzmy, kosztu dwóch pizz?

Zespół badaczy AI z Uniwersytetu Kalifornijskiego w Berkeley, kierowany przez doktoranta Jiayia Pana ogłosił, że udało im się odtworzyć umiejętności DeepSeek R1-0 za cenę jedynie 30 dolarów (ok. 120 zł). Cena wynikała z konieczności wynajęcia 10 czipów Nvidia H100 na 10 godzin, które pozwoliły badaczom na trening TinyZero.

Jak wyjaśnia Pan na swoim profilu w serwisie X, badacze rozpoczęli projekt od przygotowania podstawowego modelu językowego, promptu - instrukcji tekstowych i nagrody. Te potrzebne były naukowcom do przeprowadzenia na TinyZero uczenia przez wzmacnianie na podstawie gry Countdown.

Gra Countdown oparta jest na brytyjskim teleturnieju o tej samej nazwie, w którym w jednym segmencie gracze mają za zadanie znaleźć losową liczbę docelową z grupy innych przypisanych im liczb przy użyciu podstawowej arytmetyki.

TinyZero początkowo bełkotał i dawał bezsensowne odpowiedzi, jednak wraz z upływem czasu udało mu się wypracować umiejętności niezbędne do wygrania gry.

Zespołowi pod przewodnictwem Pana udało się także nauczyć TinyZero mnożenia bardzo dużych liczb, używając do tego znanego ze szkół podstawowych "rozbijania" liczb - np. 123 x 4 mnożymy jako 100 * 4 + 20 * 4 + 3 * 4.

Badacze eksperymentowali z różnymi modelami jako podstawami TinyZero. W pierwotnej wersji zaczęli od modelu Qwen2.5, który miał tylko 500 milionów parametrów. W tym wariancie TinyZero jedynie zgadywał rozwiązanie, a następnie zaprzestawał dalszego działania, bez względu na to czy modelowi udało się zgadnąć, czy nie. Zwiększając rozmiar podstawowego modelu z 500 milionów do 1,5 miliarda parametrów, a później także do 3 i 7 mld., TinyZero udawało się odnaleźć prawidłowe rozwiązania szybciej i przy mniejszej liczbie podejmowanych czynności.

Według Pana TinyZero pod względem tych umiejętności matematycznych dorównuje potencjałowi DeepSeek R1-0, jednocześnie zamykając koszt projektu w 30 dolarach. Ponadto cały projekt może być ponownie odtworzony przez dowolną osobę, a to za sprawą otwartego repozytorium TinyZero udostępnionego w serwisie GitHub.