Elon Musk upublicznił swojego chatbota. Pokazał, co ma w środku
Elon Musk dotrzymał obietnicy i do internetu trafił właśnie model stojący u podstaw chatbota Grok - Grok-1. Duży model językowy inteligencji można swobodnie pobrać, jednakże należy liczyć się z ograniczeniami otwartoźródłowej licencji Apache 2.0.
W listopadzie ubiegłego roku xAI, startup Elona Muska, zaprezentował światu chatbota Grok. Grok jest pierwszym produktem xAI, a zarazem deklaracją podniesienia rękawicy i stanięcia w szranki z Google, Metą, ale i OpenAI, z którym Elon Musk obecnie ma nie najlepsze stosunki. AI Elona Muska została wytrenowana na danych z serwisu X (dawnego Twittera), a dostęp do niego mają subskrybenci X Premium.
11 marca miliarder zapowiedział upublicznienie kodu modelu stojącego u podstaw chatbota Groka, a zgodnie z zapowiedziami, w niedzielę 17 marca kod źródłowy dużego modelu językowego Grok-1 trafił do serwisu GitHub.
Model Grok-1 publicznie dostępny. Elon pokazuje co w środku ma jego chatbot
Jak możemy przeczytać w informacji opublikowanej na stronie xAI, model został wytrenowany "od podstaw" przez xAI i jego liczba parametrów wynosi 314 miliardów.
Dla porównania, ChatGPT opiera się na modelu GPT-3.5 - wersji GPT-3 dostrojonej pod kątem zastosowań jako chatbot. GPT-3 posiada 175 miliardów parametrów. Po dziś dzień nieznana jest liczba parametrów GPT-4 oraz Gemini.
xAI zastrzega, że upubliczniony przez nich model to "nieprzetworzony punkt kontrolny Groka-1 z fazy przed-treningowej". W przypadku uczenia maszynowego punkt kontrolny to technika zachowywania modeli pośrednich w całym procesie uczenia w celu wznowienia uczenia od ostatniego punktu w przypadku awarii lub zatrzymania systemu. Punkty kontrolne pozwalają przede wszystkim na przywrócenie modelu do poprzedniego stanu, jeśli uczenie zostanie zatrzymane lub zakończy się niepowodzeniem. To w dużym skrócie oznacza, że model Grok-1 dostępny na Githubie jest różny od tego, który stoi u podstaw chatbota Grok.
Natomiast "faza przedtreningowa", jak zastrzega xAI, oznacza, że model nie jest dostrojony do żadnego specyficznego zastosowania (np. konwersacji z człowiekiem).
Grok-1 został udostępniony na licencji Apache 2.0. Licencja ta zezwala na korzystanie z oprogramowania w dowolnym celu, a użytkownicy mogą je rozpowszechniać, modyfikować i rozpowszechniać zmodyfikowane wersje oprogramowania. Jednocześnie w ramach licencji nie wolno używać nazw i znaków handlowych licencjodawcy do celów innych niż wspomnienie o pochodzeniu oprogramowanie. Co ważne dla xAI, licencja Apache 2.0 posiada klauzule zapobiegające sporom patentowym.
Jak zauważył serwis VentureBeat, Apache 2.0 umożliwia komercyjne wykorzystanie Grok-1, ale licencja nie obejmuje danych wykorzystywanych do jego szkolenia ani połączeń z X w celu uzyskania danych w czasie rzeczywistym.
Publikacja dużych modeli językowych na otwartoźródłowych licencjach nie jest niczym nowym, gdyż pozwala ona ich twórcom na uzyskanie opinii i wskazówek od inżynierów i naukowców zajmujących się uczeniem maszynowym. Tak zrobiła chociażby Meta z modelem Llama 2, który jest całkowicie darmowy dla naukowców (aczkolwiek tu "otwartoźródłowość" traktowano jak chwyt reklamowy, gdyż Meta wymaga opłat od wszystkich deweloperów oprogramowania z użyciem Llama 2, posiadających więcej niż 700 milionów dziennych użytkowników).
Może zainteresować cię także:
Zdjęcie główne: Mei Zendra / Shutterstock
