Najpotężniejsze AI z Europy dostępne za darmo. Takiego sprzętu potrzebujesz do jego obsługi

Francuski Mistral AI udostępnił do pobrania jeden ze swoich najpotężniejszych modeli sztucznej inteligencji. Mistral Large 4 ma ponad bilion parametrów, potrafi analizować obrazy, programować i rozwiązywać złożone problemy. Można uruchomić go bez połączenia z serwerami producenta.

Mistral AI ogłosił udostępnienie wag modelu Large 4, znanego również pod nieoficjalną nazwą Le Chonk. To rozwinięcie systemu, którego wersję testową pokazano 6 października. Przez kolejne trzy tygodnie firma doskonaliła jego możliwości programistyczne, rozumowanie i narzędzia związane z cyberbezpieczeństwem.

Największą nowością nie jest jednak kolejny wzrost wyników w testach, lecz możliwość pobrania modelu na własny sprzęt. Mistral udostępnił go na platformie Hugging Face, dzięki czemu firmy, instytucje i programiści mogą samodzielnie uruchamiać oraz dostosowywać system do własnych potrzeb.

Large 4 wykorzystuje architekturę Mixture-of-Experts. Model ma około 1,05 biliona parametrów, ale podczas przetwarzania pojedynczego fragmentu tekstu aktywuje tylko ich niewielką część, około 52 mld. Pozwala to ograniczyć liczbę wykonywanych obliczeń bez konieczności rezygnowania z ogromnej liczby wyspecjalizowanych komponentów.

To jednak nie znaczy, że do uruchomienia wystarczy sama pamięć. W trakcie pracy potrzebne są też pozostałe elementy modelu, bo system wybiera różnych ekspertów w zależności od zadania.

Oficjalna wersja FP8 zajmuje ponad 1 TB, natomiast bardziej oszczędny wariant NVFP4 wymaga około 610 GB miejsca na same wagi. Społeczność rozwijająca bibliotekę llama.cpp przygotowała dodatkowo skompresowane wersje GGUF. Najmniejsza z nich, IQ2_XXS, zajmuje około 298 GB. Jest to ogromna oszczędność względem pełnego modelu, ale nadal oznacza konieczność dysponowania kilkuset gigabajtami pamięci.

Zespół Hugging Face potwierdził, że Mistral Large 4 działa na pojedynczym komputerze Apple'a z procesorem M3 Ultra i 512 GB pamięci zunifikowanej. W takim środowisku uzyskano szybkość generowania około 15 tokenów na sekundę. Model uruchamiano również na stacjach wyposażonych w kilka profesjonalnych kart graficznych.

Dla porównania, komputer do gier oferuje zwykle 16-32 GB RAM i kartę graficzną z kilkunastoma gigabajtami VRAM. Na takim zestawie uruchomienie pełnego Large 4 w użytecznej konfiguracji nie będzie raczej możliwe.

Na Spider's Web pokazywaliśmy już, jak uruchomić lokalnego chatbota na komputerze z procesorem Ryzen lub kartą Radeon. Tylko że chodziło wtedy o znacznie mniejsze modele, stworzone do pracy na zwykłym, konsumenckim sprzęcie.

Mistral Large 4 jest modelem multimodalnym. Oznacza to, że potrafi analizować tekst i obrazy, odpowiadać na pytania dotyczące dokumentów oraz wykonywać zadania programistyczne. Obsługuje również kontekst o długości do 1 mln tokenów, choć faktyczny limit zależy od środowiska, w którym zostanie uruchomiony.

Producent szczególnie mocno podkreśla możliwości związane z tworzeniem oprogramowania. W teście Artificial Analysis Coding Agent Index model osiągnął 48 proc., uzyskując wynik porównywalny z czołowymi rozwiązaniami o otwartych wagach. Według Mistrala potrzebował przy tym średnio o 47 proc. mniej tokenów do wykonania zadania niż porównywany konkurent.

W Terminal-Bench 4.0 nowa wersja uzyskała natomiast 41 proc., o 13 punktów procentowych więcej, niż wcześniejsze wydanie testowe. Firma przygotowała też trzy poziomy rozumowania: niski, średni i wysoki, pozwalające wybierać między szybkością a dokładnością odpowiedzi.

Istotną specjalizacją Large 4 jest jednak cyberbezpieczeństwo. Model może pomagać w analizowaniu kodu, identyfikowaniu podatności i przygotowywaniu poprawek. W Artificial Analysis Cyber Index osiągnął 51 proc., a jego możliwości testowały m.in. firmy Cisco, CrowdStrike i Cloudflare.

Nie wszystkie porównania pochodzą jednak z niezależnych testów, a dobre wyniki nie oznaczają oczywiście bezbłędnego wykrywania zagrożeń. Mistral podkreśla, że wprowadzono również dodatkowe zabezpieczenia mające ograniczać wykorzystywanie modelu do szkodliwych działań.

Możliwość uruchomienia AI na własnej infrastrukturze będzie szczególnie ważna przede wszystkim dla firm i instytucji pracujących z poufnymi danymi. Takie przedsiębiorstwo może zbudować wewnętrznego asystenta, który analizuje dokumenty, kod źródłowy czy dane finansowe i nie musi wysyłać ich do zewnętrznego dostawcy.

Nie oznacza to jednak oczywiście, że takie rozwiązanie zapewnia pełne bezpieczeństwo. Nadal trzeba odpowiednio zabezpieczyć serwery, kontrolować uprawnienia użytkowników i sposób przechowywania informacji. Zmienia się jednak to, kto zarządza modelem oraz gdzie fizycznie odbywają się obliczenia.

Mistral udostępnił Large 4 na licencji Mistral Ecosystem Open-Weight. Pozwala ona bezpłatnie korzystać z modelu, modyfikować go i stosować komercyjnie. Wyjątkiem są przedsiębiorstwa oferujące modele jako usługę, które muszą uzyskać osobną licencję komercyjną.

Model można również uruchamiać przez API Mistrala, bez inwestowania we własną infrastrukturę. Podstawowe stawki wynoszą 0,70 dolara za 1 mln tokenów wejściowych oraz 2,10 dolara za 1 mln tokenów wygenerowanej odpowiedzi.

Large 4 powstał w europejskich centrach danych Mistrala. Według producenta do jego trenowania wykorzystano 3800 procesorów graficznych NVIDIA Grace Blackwell. Materiał treningowy obejmował ponad 160 języków, w tym wszystkie języki urzędowe Unii Europejskiej, a więc również polski. Na Spider's Web opisywaliśmy już współpracę Mistrala z Mozillą, dzięki której europejskie modele AI mają trafiać do funkcji inteligentnych w przeglądarce Firefox.

Z kolei w zestawieniu polskich modeli językowych zwracaliśmy uwagę, jak dużym wyzwaniem pozostaje konkurowanie z systemami dysponującymi znacznie większą liczbą parametrów i budżetami treningowymi. Mistral rozwija rozwiązania na skalę dotychczas kojarzoną przede wszystkim z największymi graczami z USA i Chin.

Przeczytaj także:

Udostępnienie Large 4 nie oznacza jednak, że każdy będzie mógł teraz zbudować sobie domowego ChataGPT o możliwościach najpotężniejszych modeli. Wymagania sprzętowe są na to zbyt wysokie, a same wagi modelu nie zastąpią odpowiedniej infrastruktury.

To jednak naprawdę bardzo ważna zmiana dla firm i programistów. Jeden z najpotężniejszych europejskich systemów AI można już pobrać i uruchomić u siebie, bez zależności od serwerów producenta. Prawdziwym ograniczeniem nie jest już dostęp do modelu, tylko cena sprzętu, który trzeba mieć, żeby go obsłużyć.

*Źródło grafiki wprowadzającej: Mistral