ChatGPT pożera niemal milion dolarów dziennie. Twoja praca domowa jest warta tyle, co batonik

Wchodzisz w przeglądarkę, wpisujesz chat.openai.com w pasek adresu, logujesz się do konta OpenAI i natychmiastowo otrzymujesz dostęp do wiedzy wartej pół internetu, całą Wikipedię i tysiące książek. Żyjemy w doprawdy niesamowitych czasach, bo dostęp do tego co oferują nam modele ChatGPT czy GPT-4 naprawdę nie wymaga specjalistycznej wiedzy ani specjalistycznego oprogramowania, wystarczy kilka kliknięć, by mieć generatywną sztuczną inteligencję na wyciągnięcie ręki.

Jak w przypadku każdej innej rzeczy na tym świecie, wszystko kosztuje, a zysk jednej jednostki to strata dla drugiej. Nie inaczej jest ze sztuczną inteligencją, bo koszt jednego dnia działania modelu ChatGPT szacowany jest na prawie trzy miliony złotych. Jedno zapytanie to już koszt warty pojedynczego wafelka oblanego czekoladą.

Specjaliści z SemiAnalysis, firmy badawczo-doradczej przeprowadzili analizę dziennych kosztów działania popularnego modelu generatywnej sztucznej inteligencji, ChatGPT.

Eksperci do przeprowadzenia symulacji wykorzystali informacje podane publicznie przez OpenAI oraz i informacje o działaniu modelu, które w wywiadach i Tweetach przekazywał szef firmy, Sam Altman. Na ich podstawie przyjęli kilka założeń. Po pierwsze, do działania ChatGPT OpenAI wymaga około 3617 serwerów Nvidia HGX A100. ChatGPT oparty jest na modelu GPT-3.5, a więc posiada około 175 miliardów parametrów. Ponadto przyjęto założenie dziennej aktywności na poziomie 13 milionów użytkowników, a także współczynnika wykorzystania sprzętu 50% ze względu na czysty czas bezczynności i kosztu 1 dolara amerykańskiego za godzinę pracy GPU.

Po wzięciu pod uwagę tych i innych czynników specyficznych dla działania dużego modelu językowego oszacowali oni dzienny koszt działania ChatGPT na 694 444 dolary (około 2 922 432,85 złotych). Z kolei przeciętnie przetworzenie jednego zapytania to około 0,36 centów, czyli około 1,51 złotych.

Warto dodać, że to koszt samego dziennego działania, a Microsoft (który użycza OpenAI dostępu do infrastruktury Azure) musi się mierzyć zarówno z kosztami zakupu dodatkowego sprzętu potrzebnego do utrzymania płynności modeli, którym stale przybywa na popularności, i ilości parametrów, ale także wymianie tych zużytych. Tak jak w przypadku zwykłych komputerów i podzespołów, co jakiś czas trzeba je wymieniać, by utrzymać płynność działania i super komputery nie są tu wyjątkiem. Jednak w przypadku superkomputerów koszt pojedynczej jednostki to grubo ponad pół miliona złotych - a sam ChatGPT potrzebuje tych jednostek ponad trzy tysiące.

Obecnie przytłaczająca większość firm zajmujących się sztuczną inteligencją i uczeniem maszynowym polega na sprzęcie dostarczanym przez Nvidię, która posiada ponad 95 proc. udziału w rynku kart graficznych niezbędnych do działania SI. Dlatego informacja, że Micorsoft pracuje nad własną jednostką o nazwie kodowej Athena, nie była zaskoczeniem. Athena ma pomóc Microsoftowi uniezależnić się od firm trzecich i zredukować całkowite koszty operacyjne infrastruktury Azure.