GPT-4 nadchodzi. Co wiemy o nowym modelu językowym OpenAI?
Jeżeli OpenAI nie zaliczy kolejnego poślizgu, to już w najbliższych tygodniach światło dzienne może ujrzeć następca popularnego modelu GPT-3. Jaki będzie GPT-4 i czy rzeczywiście będzie 500 razy lepszy od poprzednika?
Wydany w 2020 roku model GPT-3 od ponad dwóch lat zachwyca nas możliwościami. Model językowy ma na swoim koncie dokonania takie jak napisanie bijącego szczyty popularności artykułu czy napisanie pracy naukowej sam o sobie, a wiele osób spekuluje, że byłby w stanie wyprzeć z rynku pracy copywriterów czy programistów. Nie można zapomnieć też o ChatGPT, którego sercem jest GPT-3.5 - ulepszona wersja modelu GPT-3.
Jednak od premiery GPT-3 minęło już dwa i pół roku. Każdy, kto technologią interesuje się nie od dziś wie, że 30 miesięcy to czas wystarczający na mniejszy lub większy postęp. Zwłaszcza, że okres od wydania GPT-1 do wydania GPT-2 wynosił zaledwie 8 miesięcy, a wydanie następcy GPT-2 - GPT-3 zajęło zaledwie 16 miesięcy.
100 bilionów parametrów czy jedynie 280 miliardów? Spekulacje na temat GPT-4 nadal trwają
Spekuluje się, że GPT-4 ujrzy światło dzienne w styczniu lub w lutym bieżącego roku, choć początkowo plotki zakładały przełom maja i czerwca 2022. OpenAI niechętnie dzieli się informacjami o nowym modelu, jednakże rąbka tajemnicy uchylił w 2021 roku Andrew Feldman, założyciel i dyrektor Cerebras, amerykańskiego przedsiębiorstwa tworzącego systemy komputerowe dla aplikacji opartych na uczeniu maszynowym. Feldman w wywiadzie dla serwisu WIRED zasugerował rozmiar nowego modelu.
Parametry w przypadku sieci neuronowych są zmiennymi, wewnętrznymi wartościami, których model nauczył się lub oszacował w trakcie procesu uczenia maszynowego. To od liczby parametrów zależy potencjał modelu sztucznej inteligencji w przewidywaniu i to one określają potencjał SI w zakresie danej umiejętności.
Jeżeli GPT-4 rzeczywiście będzie miał 100 bilionów parametrów, będzie on modelem 500 razy większym od GPT-3.
Jednocześnie informacje podane przez Feldmana stoją w sprzeczności do informacji, które podał Sam Altman, szef OpenAI. Podczas sesji pytań i odpowiedzi we wrześniu 2021 roku powiedział, że GPT-4 będzie niewiele większy od GPT-3, i będzie posiadał od 175 do 280 miliardów parametrów.
Według słów Altmana OpenAI nie będzie dążyć do zbudowania jak największego modelu, a zamiast tego skupi się na poprawie i udoskonaleniu możliwości modelu, w tym usunięciu z niego uprzedzeń.
Jednocześnie, GPT-4 tak jak jego poprzednicy pozostanie modelem wyłącznie językowym, tak więc zapytania, jak i odpowiedzi pozostaną wyłącznie w formie tekstu.
Z kolei inna plotka, opisana przez Alberto Romero mówi, że trening GPT-4 zaczął się dopiero we wrześniu 2022 roku, lecz w porównaniu do GPT-3 będzie on znacznie tańszy. Jednocześnie plotka ta stoi w opozycji do słów Altmana, gdyż wspomina o multimodalności - GPT-4 będzie w stanie posługiwać się nie tylko tekstem, ale i obrazem czy dźwiękiem.
Od września 2021 roku właściwie nie mieliśmy nowych informacji co do postępów prac nad GPT-4, jednak w sierpniu ubiegłego roku amerykański bloger Robert Scoble opublikował Tweet, w którym poinformował, jakoby jeden z jego znajomych otrzymał wczesny dostęp do GPT-4. Według jego słów znajomy opisał GPT-4 jako "tak ekscytujący skok, jak GPT-3".
