Były szef Intela wie, jak uratować świat. Zaryzykował majątek

Procesory i akceleratory AI stają się coraz szybsze, ale coraz częściej problemem nie jest już samo liczenie. Problemem jest dostarczenie danych na czas. Pat Gelsinger, były szef Intela, inwestuje teraz w technologię, która ma rozwiązać ów problem. W teorii Z2RAM wygląda niemal podejrzanie dobrze: szybkość SRAM-u, gęstość zbliżona do DRAM-u i możliwość układania kolejnych warstw niczym w pamięciach NAND. Tyle że na razie kluczowe pozostają dwa słowa: „w teorii”.

Przez lata branża półprzewodników nauczyła nas oceniać nowe układy głównie liczbą rdzeni, częstotliwością, FLOPS-ami, TOPS-ami czy kolejnymi generacjami procesu technologicznego. Dziś, szczególnie w świecie akceleratorów sztucznej inteligencji, coraz częściej okazuje się jednak, że samo dorzucanie jednostek obliczeniowych nie rozwiązuje problemu. Te jednostki trzeba jeszcze nakarmić danymi.

Czytaj też:

Tu pojawia się „memory wall”, czyli ściana pamięci. W ciągu ostatnich trzech dekad szczytowa wydajność obliczeniowa rosła średnio o 70 proc. rocznie, podczas gdy przepustowość pamięci zwiększała się w tempie około 20 proc. rocznie. Rezultat jest dość oczywisty. Możemy budować coraz potężniejsze silniki obliczeniowe, ale jeżeli dane docierają do nich za wolno to część tej mocy pozostaje niewykorzystana.

Problem szczególnie mocno daje się we znaki przy generatywnej AI. Duże modele wymagają ciągłego przerzucania ogromnych ilości parametrów i innych danych pomiędzy pamięcią a jednostkami wykonawczymi. Za każdym takim transferem idą opóźnienia, zużycie energii i wymagania dotyczące przepustowości. Nagare Labs twierdzi wręcz, że pobranie wartości z HBM może pochłaniać około tysiąca razy więcej energii niż wykonanie na tej wartości operacji. To oczywiście liczba podawana przez firmę promującą alternatywną technologię pamięci, więc warto podchodzić do niej jak do deklaracji producenta, nie uniwersalnej stałej fizycznej. Dobrze jednak pokazuje skalę problemu.

Branża próbuje sobie z nim radzić. Stąd gigantyczne inwestycje w HBM, coraz bardziej skomplikowane układy chipletowe i pakowanie 3D. Ale Nagare Labs proponuje bardziej radykalny pomysł: zamiast stale usprawniać drogę prowadzącą od procesora do pamięci, przenieśmy dużą i bardzo szybką pamięć praktycznie nad sam procesor. I właśnie w tym momencie zaczyna się robić naprawdę ciekawie.

Startup nazywa swoją technologię Z2RAM. Firma powstała jako spin-off Georgia Tech, a jej współzałożycielami są profesorowie Suman Datta i Shimeng Yu. Pierwszy jest m.in. współtwórcą stosowanych przez Intela rozwiązań High-k/Metal Gate oraz tranzystorów Tri-Gate. Drugi stworzył NeuroSim, otwartoźródłowy symulator przeznaczony do badania nowych architektur pamięci. Innymi słowy nie jest to projekt dwóch osób, które wczoraj przeczytały kilka wpisów o półprzewodnikach i dziś zbierają pieniądze na Kickstarterze.

Sama Z2RAM ma spróbować pogodzić trzy cechy, które we współczesnych systemach pamięci zwykle wzajemnie się wykluczają.

Z2RAM ma natomiast oferować przepustowość klasy SRAM przy gęstości znacznie bliższej DRAM-owi. Do tego konstrukcja ma nadawać się do pionowego skalowania w sposób przypominający NAND Flash. Jeżeli brzmi to jak próba wybrania najlepszych cech wszystkich istniejących pamięci i wyrzucenia ich wad, to... dokładnie tak prezentowana jest ta technologia. I właśnie dlatego należy bardzo ostrożnie oddzielić to, czego chce Nagare Labs, od tego, co faktycznie istnieje dziś.

Najciekawsza część Z2RAM kryje się w samej komórce. Klasyczna komórka DRAM wykorzystuje tranzystor i kondensator, w którym przechowywany jest ładunek reprezentujący informację. Problem polega między innymi na tym, że odczyt takiej komórki jest destrukcyjny: po odczytaniu zawartości trzeba ją odtworzyć. Z2RAM rezygnuje z fizycznego kondensatora. Komórka wykorzystuje dwa tranzystory, a ładunek jest przechowywany przy wykorzystaniu pojemności bramki drugiego z nich. Odczyt staje się dzięki temu niedestrukcyjny, co ma pomóc w ograniczeniu opóźnień.

Podstawą Z2RAM mają być półprzewodniki tlenkowe. Firma chce umieszczać kolejne warstwy pamięci bezpośrednio nad akceleratorem. Na swojej stronie opisuje konstrukcję bez interposera i oddzielnie łączonych stosów kości. Pionowe połączenia mają przebiegać przez całą powierzchnię struktury, przez co dane miałyby pokonywać mikrometry zamiast milimetrów. Nagare Labs deklaruje energię transferu wyraźnie poniżej jednego pikodżula na bit. Znów: to cele i deklaracje twórców technologii, a nie parametry gotowego produktu dostępnego w katalogu producenta.

Tu pojawia się skojarzenie z 3D V-Cache AMD. Nie dlatego, że obie pamięci są tym samym, lecz dlatego, że podstawowa filozofia jest podobna: zamiast zmuszać procesor do częstszego chodzenia po dane gdzieś dalej, dokładamy mu dużą porcję szybkiej pamięci bardzo blisko logiki. Tyle że Nagare Labs mierzy znacznie wyżej.

Pierwsza generacja Z2RAM ma celować w pięciokrotnie większą gęstość niż SRAM dzięki sześciu warstwom pamięci. Firma przedstawia jednocześnie mapę rozwoju obejmującą docelowo ponad 100 warstw. Gdybyśmy wzięli przestrzeń zajmowaną przez 64-megabajtowy kafelek SRAM, Z2RAM według deklaracji twórców mogłaby w tym samym miejscu pomieścić około 320 MB pamięci, nadal zapewniając przepustowość porównywalną z SRAM-em.

W świecie pecetów kilkaset megabajtów może wyglądać niepozornie. Przywykliśmy przecież do komputerów z dziesiątkami gigabajtów RAM-u i kart graficznych wyposażonych w kilkanaście czy kilkadziesiąt gigabajtów VRAM-u. Tyle że tutaj porównujemy Z2RAM nie z modułami DDR5 stojącymi w slotach obok procesora, lecz z bardzo szybką pamięcią umieszczoną bezpośrednio przy logice. Z tego punktu widzenia skok z 64 do 320 MB w tej samej powierzchni przestaje wyglądać jak drobiazg. Co więcej, koncept nie zakłada zatrzymania się na sześciu warstwach. To właśnie skalowanie pionowe jest jednym z filarów pomysłu.

Łatwo byłoby po tych deklaracjach napisać, że oto właśnie pojawił się zabójca HBM. Byłby to jednak idealny przykład technologicznego clickbaitu wyprzedzającego rzeczywistość o kilka dobrych zakrętów. Współczesne akceleratory wykorzystują gigantyczne ilości pamięci. Nvidia Rubin ma 288 GB pamięci, a AMD MI455X 432 GB. Pierwsza generacja Z2RAM nie ma nagle zastąpić takiej pojemności kilkusetmegabajtowym kafelkiem. Znacznie ciekawsze jest spojrzenie na Z2RAM jak na potencjalnie nową warstwę hierarchii pamięci.

Dzisiejszy komputer już przecież nie ma jednej „pamięci”. Rdzenie korzystają z rejestrów, kilku poziomów cache'u, RAM-u, a dalej z jeszcze wolniejszej pamięci masowej. Akceleratory AI mają własne lokalne pamięci i HBM, a całe systemy buduje się tak, żeby jak najrzadziej transportować dane drogą, która akurat jest energetycznie lub wydajnościowo najdroższa.

Z2RAM jest przedstawiana jako próba wciśnięcia bardzo pojemnej pamięci pomiędzy bezpośrednio dostępną SRAM a dalsze warstwy pamięci. Nawet jeśli nigdy nie wyeliminuje HBM to mogłaby potencjalnie zmniejszyć częstotliwość sięgania do niej po dane. I to byłoby bardzo istotne.

Pat Gelsinger jest dziś partnerem w Playground Global, funduszu inwestującym w Nagare Labs. Startup wyszedł właśnie z fazy działania w ukryciu i zebrał 5 mln dol. finansowania seed, czyli około 18 mln zł przy kursie rzędu 3,6 zł za dolara. Rundę prowadzi Playground Global.

Kwota brzmi przyjemnie, dopóki nie przypomnimy sobie, że mówimy o opracowywaniu nowej technologii półprzewodnikowej, a nie aplikacji do zamawiania kawy. Pięć milionów dolarów w świecie fabryk i produkcji półprzewodników nie jest górą pieniędzy. Znacznie ciekawsze jest więc samo technologiczne zaplecze przedsięwzięcia i to, co firma chce osiągnąć w kolejnych latach.

Gelsinger przekonuje, że przez mniej więcej trzy dekady w pamięciach nie pojawiła się żadna nowa klasa, która przebiłaby się do masowego zastosowania obok SRAM, DRAM i Flash. Jego zdaniem Z2RAM może połączyć gęstość DRAM, szybkość SRAM oraz możliwość skalowania kojarzoną z pamięcią Flash. Mocne słowa. Tylko że historia półprzewodników jest pełna technologii pamięci, które również miały być „tą następną”.

Datta przyznaje: Z2RAM znajduje się dosłownie na etapie laboratoryjnych prototypów. Nagare Labs szuka partnera dysponującego zapleczem R&D, który pozwoli przenieść technologię poza uniwersyteckie pomieszczenia clean room i rozpocząć jej skalowanie. Plan zakłada dostarczenie próbek działających kafelków Z2RAM w ciągu czterech lat. Produkcja komercyjna jest celem dopiero na przestrzeni przyszłej dekady. Innymi słowy: nawet jeżeli wszystko pójdzie dobrze to nie jest to technologia, którą AMD, Intel czy Nvidia umieszczą w przyszłorocznych procesorach. A po drodze czeka długa lista problemów.

Jednym z nich jest integracja. Shimeng Yu zwraca uwagę, że nie istnieje obecnie standard pozwalający po prostu podłączyć taką pamięć do akceleratora przez odpowiednie rozwiązania 3D. Firma być może będzie więc musiała stworzyć własny interfejs albo bardzo blisko współpracować z konkretnymi producentami półprzewodników. Drugim jest niezawodność samych komórek.

Półprzewodniki tlenkowe mają swoje zalety, ale Datta wskazuje też na problem wakansów atomowych. Przy tak małych strukturach nawet efekty związane z pojedynczymi bądź kilkoma elektronami mogą wystarczyć do niewielkiej zmiany napięcia progowego tranzystora, która z kolei może zaburzyć stan komórki pamięci. A pamięć jest wyjątkowo paskudnym miejscem na podejście „działa w 99,9 procentach przypadków”.

Nowatorska komórka musi być nie tylko szybka i gęsta. Trzeba jeszcze produkować ją masowo, z wysokim uzyskiem, w milionach czy miliardach sztuk, następnie zagwarantować odpowiednią trwałość, zachowanie przy zmianach temperatury i przewidywalność przez cały zakładany czas eksploatacji urządzenia. Dopiero wtedy zaczyna się dyskusja o tym, czy koszt jest wystarczająco niski i czy producenci procesorów w ogóle będą chcieli przeprojektować swoje produkty wokół nowej pamięci.

Datta sam przyznaje zresztą, że historia jest pełna startupów pamięciowych, które nie odniosły sukcesu, ponieważ nawet znakomita technologia może polec na rygorystycznych wymaganiach całego systemu. I paradoksalnie właśnie ta świadomość ryzyka sprawia, że projekt Nagare Labs jest ciekawszy niż kolejny startup obiecujący „rewolucję”.

Na razie nie ma więc żadnych podstaw, żeby odliczać dni do laptopów z Z2RAM zamiast DDR5 czy kart graficznych pozbawionych GDDR. Zresztą nie po to ta technologia jest obecnie projektowana. Pierwszym polem bitwy mają być akceleratory AI oraz inne systemy intensywnie przetwarzające dane. Nagare Labs mówi między innymi o możliwości trzymania blisko jednostek obliczeniowych wag modeli i pamięci podręcznej KV.

Tyle że technologie rozwijane dla centrów danych mają dość silną tendencję do przenikania niżej. HBM również kojarzyła się kiedyś entuzjastom komputerów przede wszystkim z egzotycznymi konstrukcjami, a dziś stała się jednym z filarów boomu na AI. Zaawansowane techniki pakowania, chiplety czy pamięć układana pionowo także przestały być abstrakcyjnymi pomysłami z prezentacji inżynierów.  Dlatego Z2RAM warto obserwować - choć na razie ze zdrowym dystansem.