Jest mały, tani i nie halucynuje. Oto przełom Microsoftu w sztucznej inteligencji

GPT to wynalazek finansowany przez Microsoft, nadzorowany i ulepszany. Tym niemniej nie należy do niego, a do spółki OpenAI, której wspomniany Microsoft nie jest właścicielem (jest wiodącym, choć nie większościowym inwestorem). Duży Model Językowy GPT zapewnił Microsoftowi gigantyczną przewagę nad resztą wielkich korporacji Big Tech, które teraz pospiesznie starają się nadrobić zaległości. Z GPT jest jednak ogromna ilość problemów.

Jest to przede wszystkim bardzo zasobożerny model językowy. Webowy Microsoft Copilot czy ChatGPT od OpenAI generują dla Microsoftu bardzo wysokie koszty operacyjne. Nie jest to zresztą cecha wyłącznie OpenAI GPT, a w zasadzie wszystkich Dużych Modeli Językowych. Na dodatek GPT, również jak i konkurencja, ma tendencje do halucynacji. Z uwagi na sposób działania Dużych Modeli, im więcej danych taki model wchłonie, tym ma większe skłonności do generowania treści wyssanych z cyfrowego palca.

Koniecznie sprawdź te teksty:

Oba problemy są bardzo poważne, dlatego też OpenAI, Microsoft, Meta, Google i reszta pracują nie tylko nad rozwojem technologii Dużych Modeli Językowych, ale też i Małych. Okazuje się bowiem, że gorsze rozwiązanie w praktyce zapewnia znacznie lepsze rezultaty. Cyfrowy asystent księgowej nie musi znać się na fizyce kwantowej - może być znacznie mniejszy i mniej skomplikowany (przez co tańszy), a przez szkolenie wyłącznie na niezbędnych dla jego przeznaczenia danych, w teorii powinien mniej halucynować.

Tyle że łatwiej powiedzieć niż zrobić. Technologia GenAI to wciąż informatyczny dziki zachód. I choć prace postępują w bezprecedensowym tempie, nadal nietrudno o przełomy w kwestiach niemalże fundamentalnych. Microsoft o takim przełomie właśnie poinformował.

Modele Microsoft Phi to seria małych modeli językowych (SLM), które osiągają wyjątkowe wyniki w różnorodnych testach. Pierwszy model, Phi-1, miał 1,3 mld parametrów i osiągnął najlepsze wyniki w kodowaniu Pythona wśród istniejących SLM-ów. Następnie, skupiono się na rozumieniu języka i rozumowaniu, tworząc model Phi-1.5, który również miał 1,3 mld parametrów i wykazywał wydajność porównywalną z modelami pięciokrotnie większymi.

Phi-2 to model o 2,7 miliarda parametrów, który wykazuje wybitne zdolności rozumowania i rozumienia języka, prezentując wyniki na poziomie najlepszych modeli bazowych o mniej niż 13 mld parametrów. Phi-2 wyróżnia się na tle innych modeli dzięki innowacjom w skalowaniu modeli i kuracji danych treningowych. Jest dostępny w katalogu modeli Azure AI Studio, co sprzyja badaniom i rozwojowi w dziedzinie modeli językowych. Phi-3, który właśnie został zaanonsowany, to jednak zupełnie nowa jakość. Przynajmniej według informacji, jakie zapewnił Microsoft. Jak wynika z zapewnień firmy, według wszelkich znanych benchmarków Phi-3 osiąga lepsze rezultaty niż dowolny inny model podobnego rozmiaru, w tym w analizie językowej, pracy programistycznej czy pracy matematycznej.

Phi-3-mini, najmniejsza odmiana tego modelu, właśnie została udostępniona wszystkim zainteresowanym. Ów model ma 3,8 mld parametrów i według pomiarów Microsoftu cechuje się dwukrotnie wyższą sprawnością niż najlepszy pod tym względem dowolny inny model tego samego rozmiaru. Phi-3-mini znaleźć można zarówno w ofercie Azure AI, jak i Hugging Face i Ollama. Wkrótce dołączą do niego Phi-3-small (7 mld parametrów) i Phi-3-medium (14 mld parametrów).

Phi-3 nie jest produktem dla odbiorców końcowych, a technologią, którą programiści będą mogli wykorzystywać i wdrażać w swoich aplikacjach - zarówno tych chmurowych i zdalnie hostowanych, jak i działających lokalnie i offline. Ma bez problemu działać na takich urządzeniach i ich podzespołach, jak telefony komórkowe, samochody i ich systemy infotainment czy nawet czujniki Internetu rzeczy. W niektórych scenariuszach ta technologia może okazać się bezcenna.

Microsoft podaje nawet konkretny przykład, byśmy my nie musieli się męczyć z wyobraźnią. Konkretniej rolnika, który bada swoje uprawy i widzi ślady choroby na liściach, łodygach i gałęziach. Będąc z daleka od masztów telekomunikacyjnych wystarczy, że wyjmie telefon, zrobi zdjęcie szkód, umieści je w aplikacji używającej technologii Phi-3 - a model szybciutko i offline przeanalizuje zdjęcie i zapewni porady dotyczące walki z tą konkretną chorobą. Ale skąd w ogóle taka zmiana jakości?

Jak tłumaczy Microsoft, kluczem do sukcesu GPT było zapewnienie do szkoleń ogromnej ilości danych. Przy tak dużych ich zestawach nie może być mowy wyłącznie o danych wysokiej jakości. Tymczasem szkoląc Phi zastosowano kompletnie odwrotne podejście od OpenAI. Zamiast zalewać model wiedzą, postawiono na stopniową i staranną edukację.

Zamiast korzystać z surowych danych internetowych, badacze Microsoftu stworzyli zestaw danych TinyStories, generując miliony miniaturowych opowieści dla dzieci. Te opowieści były wykorzystywane do szkolenia bardzo małych modeli językowych. Następnie, badacze poszli o krok dalej, tworząc zestaw danych CodeTextbook Wykorzystali starannie wybrane, publicznie dostępne dane, które były filtrowane pod kątem wartości edukacyjnej i jakości treści. Te dane były następnie wielokrotnie filtrowane i karmione z powrotem do dużego modelu językowego (LLM) w celu dalszej syntezy.

Wszystko to pozwoliło na stworzenie korpusu danych wystarczająco dużego, aby przeszkolić bardziej zdolny SLM. Dodatkowo, zastosowano wielowarstwowe podejście do zarządzania i minimalizowania ryzyka w procesie tworzenia modeli Phi-3, w tym ocenę, testowanie i manualne korekty. Dzięki temu, jak przekonuje Microsoft, deweloperzy korzystający z rodziny modeli Phi-3 mogą skorzystać z zestawu narzędzi dostępnych w Azure AI, aby tworzyć bezpieczniejsze i bardziej godne zaufania aplikacje.

Małe modele językowe (SLM), mimo że są szkolone na danych wysokiej jakości, mają swoje ograniczenia i nie są zaprojektowane do głębokiego pozyskiwania wiedzy. Duże modele językowe (LLM) są lepsze od SLM-ów w skomplikowanym rozumowaniu na dużą skalę dzięki swojej wielkości i mocy obliczeniowej. LLM-y są i pozostaną szczególnie przydatne w takich dziedzinach, jak odkrywanie leków, gdzie wymagane jest przeszukiwanie ogromnych zbiorów naukowych artykułów i analizowanie złożonych wzorców. Z drugiej strony, SLM mogą być używane do prostszych zadań, takich jak podsumowywanie głównych punktów długiego dokumentu, generowanie treści czy zasilanie chatbotów obsługi klienta.

Microsoft, jak zdradził, już teraz wewnętrznie korzysta z hybrydowych zestawów modeli, gdzie LLM-y pełnią rolę dyrygenta, kierując pewne zapytania, które wymagają mniejszej mocy obliczeniowej, do SLM-ów, podczas gdy sam zajmuje się innymi, bardziej złożonymi zapytaniami. Chi są pozycjonowane do obliczeń na urządzeniu, bez korzystania z chmury. Pozostanie jednak nadal luka między małymi modelami językowymi a poziomem inteligencji, który można uzyskać z dużych modeli w chmurze. Ta luka, z uwagi na nieustający rozwój LLM-ów, zapewne prędko nie zniknie.

Phi-3 musi być jeszcze przetestowany zewnętrznie przez niezależne podmioty. Microsoft wspomina miejscami nawet i o 25-krotnie wyższej skuteczności czy sprawności energetycznej w skrajnych przypadkach, w porównaniu z konkurencją, co brzmi aż nazbyt bajkowo. Choć z drugiej strony nie można zapominać, że Microsoft nas przez lata nieco odzwyczaił od bycia tak zdecydowanym liderem w informatycznych innowacjach i być może stąd niewiara. Reagujące błyskawicznie i działające offline oparte o SI aplikacje, które nie generują bzdur? To byłoby wspaniałe zwieńczenie bieżącej rewolucji. Niestety, jest jeden, kluczowy problem.

Phi-3 nie pożerał masowo petabajtów rzucanych w jego kierunku. Staranne i drobiazgowe szkolenie modelu wiąże się z jednym drobniutkim problemem. Phi-3 był szkolony informacjami w języku angielskim i na razie nie ma pojęcia o jakiejkolwiek innej mowie. Nie tylko polskiej, ale niemieckiej, hiszpańskiej, francuskiej czy chińskiej - co tymczasowo znacząco obniża jego atrakcyjność dla większości czytelników Spider's Web. Prace trwają nad jego rozwojem, choć nie należy się raczej łudzić, że rynek polski jest dla którejkolwiek z dużych korporacji priorytetem.