Jest nadzieja na niższe ceny RAM-u. Są tacy, którzy zapłakali
Jest nadzieja na poprawę sytuacji na rynku pamięci. Moduły RAM mogą tanieć, ponieważ Google stworzył rozwiązanie oszczędzające cenną pamięć. Producenci otrzymali mocny cios.
Google zaprezentował narzędzie TurboQuant, które ma częściowo rozwiązać problem ogromnego zapotrzebowania na pamięć ze strony sztucznej inteligencji. Firmy zajmujące się produkcją pamięci odnotowały gwałtowne spadki na giełdzie. To pierwsza pozytywna wiadomość w tej sytuacji od kilku miesięcy.
Jest nadzieja na niższe ceny pamięci operacyjnej. To Google
Od ok. pół roku rynek elektroniki użytkowej mierzy się z kryzysem pamięci. W ciągu ostatnich miesięcy ceny modułów DRAM i NAND poszybowały w górę ze względu na ogromne zainteresowanie sztuczną inteligencją wymagającą układów z mnóstwem pamięci. W efekcie wzrósł popyt, a producenci zwąchali łatwy zysk.
Dotknęło to zwykłych klientów. Pamięć DDR5 32 GB, która wcześniej kosztowała 400 zł dziś jest dostępna za ok. 1600 zł. Podrożały też karty graficzne, a nawet smartfony (te tańsze i najlepsze) oraz laptopy. Google jednak pokazał rozwiązanie, które może nieco poprawić sytuację.
Jest nim TurboQuant - algorytm kompresji oparty na sztucznej inteligencji, który zmniejsza użycie pamięci przez AI bez zauważalnego wpływu na wydajność. Rozwiązanie ma jednocześnie usprawnić szybkość działania dużych modeli językowych i zachować ich dokładność. O jak dużych różnicach mówimy? Według inżynierów z Google’a algorytm ma zmniejszyć ilość pamięci roboczej wymaganej przez model AI co najmniej sześciokrotnie.
Jednocześnie zapewnia do 8 razy szybsze obliczenia na procesorach graficznych NVIDIA H100. Dzięki temu modele sztucznej inteligencji mogłyby otrzymać dostęp do większej ilości danych kontekstowych przy mniejszym zapotrzebowaniu na pamięć. W praktyce oznaczałoby to, że korzystanie ze sztucznej inteligencji byłoby tańsze, a więc twórcy sztucznej inteligencji nie musieliby inwestować tylu środków w układy graficznej.
Wstrzymajcie konie. To obecnie technologia laboratoryjna, która ma ograniczenia
Algorytm TurboQuant obecnie jest w fazie testów laboratoryjnych. Mimo że narzędzie ma być darmowe, nie możemy mówić o szerokim wdrożeniu. Technologia wiąże się też z kilkoma ograniczeniami. Największy problem stanowi fakt, że algorytm ogranicza użycie pamięci tylko w momencie wnioskowania sztucznej inteligencji. Nie koncentruje się na kwestii trenowania, do czego wciąż będzie potrzeba mnóstwo pamięci DRAM.
Mimo wszystko rynek zareagował na nowe narzędzie i główni producenci pamięci: Micron, SanDisk, Western Digital zaliczyli spadki. Szansa na poprawę sytuacji jest nikła, ale mimo wszystko istnieje.
