Przyszłość sztucznej inteligencji to nie siła, to miniaturyzacja
Miliardy parametrów, ogromne centra danych, tysiące pracowników - mamy to Sam, niesamowicie potężna sztuczna inteligencja, którą podziwiają wszyscy. Czy następnym krokiem doliny krzemowej będzie silna sztuczna inteligencja? Nie, to dążenie do zrobienie jak najmniejszego modelu.
Obecnie trwająca rewolucja sztucznej inteligencji zapoczątkowane przez generatywne modele m.in. OpenAI, Stability AI czy Midjourney to zjawisko, które nie śniło się najwybitniejszym umysłom tego świata. Nie tylko setki lat temu, ale nawet parę dekad temu. Wpisujemy dowolny pomysł, treść, myśl, a ogromny, złożony z miliardów parametrów system wygeneruje cokolwiek nam się zamarzy. Oczywiście nadal pozostają problemy z halucynacjami, dosłownym kopiowaniem danych treningowych, naruszaniem praw autorskich czy kompletnie bezsensownymi tworami.
Mimo wszystko technologia zachwyca miliony ludzi na świecie, a wiele ludzi postuluje, że jesteśmy już jeden krok od silnej sztucznej inteligencji - czyli SI potencjałem dorównującej człowiekowi. Myślącej kreatywnie, czującej, niebędącej jedynie kserokopiarką idei zaczerpniętych z internetu. Według odważniejszych ten typ sztucznej inteligencji jest już zamknięty w laboratoriach najważniejszych jednostek badawczych SI.
Historia nas nauczyła, że małe jest piękne i innowacyjne
Oczywiście w pewnym momencie ludzkość dojdzie do momentu, w którym ta silna sztuczna inteligencja powstanie, także stwierdzenie "Silna sztuczna inteligencja to przyszłość" nie jest złe. Aczkolwiek nie jest ona następnym krokiem. Następnym krokiem w rozwoju SI jest jej miniaturyzacja.
Spójrzmy najpierw na inny epokowy wynalazek: komputer. Każdy, kto choć trochę interesuje się technologiami wie, że komputery swój początek wzięły w armii amerykańskiej jako maszyny obliczeniowe. Były ogromne, ważyły wiele ton i choć możliwości przetwarzania liczb oraz danych były ogromne, to moce obliczeniowe urządzeń z lat 50. i 60. były - jak na dzisiejsze standardy - śmieszne. Literatura Sci-Fi tamtych czasów przedstawiała komputery jako coraz mocniejsze, wydajniejsze, ostatecznie przeistaczające się w inteligentne roboty. Jednak technika zweryfikowała te idee, które spełniły się połowicznie. Tak, komputery stały się nieporównywalnie mocniejsze, ale przede wszystkim znacznie mniejsze. Zaczęliśmy od tęgich maszyn zajmujących całe pomieszczenia w budynkach politechnik, a skończyliśmy na miniaturowych, smukłych maszynach, które chowają się pod równie smukłymi monitorami.
Ta miniaturyzacja sprawiła, że komputery zaczęliśmy być w stanie adaptować komputery do kolejnych zadań. Nie są już one jedynie maszynami wykonującymi złożone obliczenia na potrzeby armii i świata nauki, ale są obecne w choćby w naszych domach, szkołach, miejscach pracy, kasach samoobsługowych, na dworcach czy lotniskach. Możliwość wciśnięcia komputera dosłownie wszędzie doprowadziła do epokowych zmian na każdym szczeblu.
Podobnie było z telefonami - nawet nie smartfonami, ale "tradycyjnymi" telefonami komórkowymi. Stanowią one zminiutaryzowaną, wręcz skondensowaną na miarę naszych czasów wersję XIX-wiecznego wynalazku. Stworzenie pierwszego telefonu było rewolucją komunikacyjną, ale zmniejszenie go do rozmiaru niepozornej cegiełki, którą każdy może trzymać w dłoni i w domu wyznaczyło bieg całej cywilizacji przez ostatnie cztery dekady.
Podobny proces nastąpi ze sztuczną inteligencją, do której dostęp będzie na wyciągnięcie ręki.
Dlaczego nagle duże musi stać się małe?
To zdanie pewnie wprawiło w konsternację wiele osób, no bo przecież wpiszemy w pasek przeglądarki chat.openai.com i już zyskujemy dostęp do najpotężniejszych modeli OpenAI. W rzeczywistości zyskujemy do medium - wizualnego interfejsu internetowego, które pośredniczy w komunikacji użytkownik-serwery OpenAI odpowiadające za działanie modeli językowych sztucznej inteligencji. My nie posiadamy bezpośredniego dostępu do modelu, jesteśmy zdani na medium, które może odmówić współpracy gdy serwery są przeciążone, gdy nasze połączenie z internetem jest zbyt słabe. Można to porównać do budki telefonicznej, stojącej po drugiej stronie ulicy. Teoretycznie, możliwość zadzwonienia jest zawsze, jest blisko, ale w praktyce jesteśmy na łasce tego czy budka działa, czy ktoś jej nie zniszczył, czy jej operator zadbał o konserwację.
Mówimy, że sztuczna inteligencja zabierze nam pracę, zmieni podejście do sprawdzania wiedzy w szkołach i na uczelniach, ale nadal mówimy o systemach, do których dostęp jest za bramą dostępu i mamy minimum pojęcia na temat tego jak one działają, zero kontroli nad tym czy jutro dostęp nie zostanie zamknięty.
Nasza niezależność od medium pośredniczącego to jeden z dwóch powodów, dla których miniaturyzacja sztucznej inteligencji to kolejny krok w rozwoju. Drugim są oczywiście pieniądze.
Inwestycja w miniaturyzację to inwestycja w przyszłość
Nie raz i nie dwa podchodzono do prób obliczenia ile kosztuje dzień działania ChatGPT na infrastrukturze Microsoft Azure. Niezależnie jak bardzo pozytywne założenia przyjmiemy, są to koszty idące w setki tysiące złotych dziennie, miliony miesięcznie. Do tego dochodzi jeszcze sama infrastruktura, której moc obliczeniowa jest "zajęta" przez GPT-4 przetwarzający zadania maturalne.
Sztuczna inteligencja musi być hybrydowa - [działająca zarówno w] centrum danych, jak i lokalnie - w przeciwnym razie będzie kosztować zbyt dużo pieniędzy
- powiedział szef Qualcomm, Cristiano Amon w wypowiedzi dla Financial Times
Miniaturyzacja sztucznej inteligencji sprawiłaby, że część (o ile nie w przyszłości całość) przetwarzania danych zostałaby zrzucona na urządzenia użytkownika i SI mogłaby dosłownie działać z poziomu komputera stacjonarnego, laptopa, tableta, smartfona. Tak jak przeszliśmy od potrzeby pośrednictwa uniwersytetów w samym dostępie do komputera jako maszyny do momentu, w którym komputer można położyć na kolanach, tak SI przejdzie od systemu zamkniętego w ogromnych amerykańskich centrach danych do systemu, który będzie możliwy do dosłownie trzymania w ręce.
Duży model językowy na telefonie? To już się dzieje
I nie jest to jedynie futurystyczna wizja, bowiem prace nad miniaturyzacją sztucznej inteligencji trwają pełną parą. Podczas zeszłotygodniowego Google I/O Zoubin Ghahramani, szef Google Brain, przyznał, że Google udało się uruchomić ich najnowszy duży model językowy PaLM 2 na... Samsungu Galaxy S23.
Zbudowaliśmy PaLM tak, aby był mniejszy, szybszy i bardziej wydajny, jednocześnie zwiększając jego możliwości. Następnie przekształciliśmy to w rodzinę modeli w szerokim zakresie rozmiarów, dzięki czemu najlżejszy model może działać jako interaktywna aplikacja na urządzeniach mobilnych, takich jak najnowszy Samsung Galaxy.
- powiedział Ghahramani cytowany przez Engadget
Innym przykładem może być tu niefortunna LLaMa Mety. To duży model językowy, który Meta zoptymalizowała pod kątem wykorzystania niekomercyjnego przez organizacje, które posiadają pewien zasób mocy obliczeniowej, lecz nie komputerowe behemoty pokroju serwerów Google. LLaMa wyciekła, ale cuda, jakie wyczyniali z nią internauci, pokazały, że model można uruchomić na prostszych, mniej wydajnych jednostkach.
Podobnie jest ze Stable Diffusion, który, choć wymaga dość mocnej jednostki, może być uruchomiony w zaciszu własnego domu. Podobny los może wkrótce czekać modele OpenAI, gdyż od open-source do kolejnego przełomu tylko jeden krok.
