Zapomnijcie o starożytnym Go. Sztuczna inteligencja ograła właśnie najlepszych graczy w Dotę

W Seattle trwa właśnie The International. Najważniejszy turniej w Dotę 2, w którym najlepsi gracze z całego świata walczą o rekordowe kwoty. I wiecie co? Żaden z nich nie był w stanie wygrać pojedynku ze sztuczną inteligencją.

Dota 2 to strasznie skomplikowana gra i zarazem pierwowzór gier z gatunku MOBA. Niektórzy z zawodników, żeby osiągnąć swój aktualny poziom umiejętności, grają w Dotę od kilkunastu lat. Algorytm stworzony przez OpenAI potrzebował zaledwie dwóch tygodni, żeby nauczyć się grać jeszcze lepiej. Jeśli moja ekscytacja wam nie wystarcza, wspomogę się Elonem Muskiem:

Normalny mecz w Dotę rozgrywany jest przez dwie, pięcioosobowe drużyny. Ten tryb dla OpenAI okazał się być jeszcze za trudny. Musicie zrozumieć, że liczba możliwości jeśli chodzi o wybór samych bohaterów (w grze dostępnych jest ich ponad setka, a każdy z nich ma inne umiejętności), strategii i zagrywek indywidualnych wydaje się być nieskończony. Dlatego zresztą ta gra jest aż tak trudna.

Istnieje jednak prostszy tryb, bardzo popularny wśród profesjonalnych graczy. Szczególnie tych, którzy grają na tzw. midzie, czyli na środkowej pozycji. Jeśli nadal nie wiecie o co chodzi, to się nie przejmujcie. 1 na 1 na midzie nie ma żadnej skróconej nazwy. Za to sama rozgrywka jest dosyć krótka i doskonale testuje zdolności mechaniczne graczy oraz ich umiejętność podejmowania szybkich decyzji w sytuacji 1 na 1.

Dla tych, którzy nie grają w Dotę: myślcie o tym z jednej strony jako o doskonałym treningu stałego elementu gry, a z drugiej jako o pojedynku rewolwerowców. Dodatkowo zasady w grach przeciwko AI zostały dodatkowo uproszczone, ale nie ma to większego znaczenia.

Oprócz tego, że gra się 1 na 1, obaj gracze wybierają też tego samego bohatera. Wiecie, żeby zaczynać z dokładnie taką samą szansą na wygraną. Najlepsi na świecie gracze grają na tak zbliżonym do siebie poziomie, że chyba nie znalazłby się żaden zawodnik, który byłby w stanie osiągnąć takie wyniki, jak OpenAI.

No dobrze, ale właściwie co ekscytującego jest w wiadomości, że komputer pokonał człowieka? Przegraliśmy już w warcaby, szachy i Go, a boty w Quake’a od dawien dawna grały na cheatach. Ja wiem, że teraz się oburzycie, ale Dota jest o wiele trudniejsza, niż wszystkie te gry. Boty treningowe, stworzone przez Valve, nie są aż tak dobre. Tak właściwie to przeciętny gracz nie będzie miał zbyt dużych problemów, żeby pokonać je na najwyższym poziomie trudności. Profesjonalni gracze mogą to zrobić z zamkniętymi oczami i obsługując klawiaturę lewą nogą.

Ale boty Valve zostały stworzone tradycyjnymi metodami. Algorytm OpenAI uczył się grać w trybie 1 na 1 całkiem sam. Jego twórcy żartowali nawet, że przez pierwsze kilkaset gier algorytm robił najgłupsze rzeczy na świecie. Gry oczywiście rozgrywane były w czasie przyspieszonym. Po godzinie takiego treningu, który normalnemu człowiekowi zająłby prawdopodobnie kilkaset, bądź kilka tysięcy godzin, OpenAI doszło do poziomu gracza typu casual.

Jeśli nie chcecie oglądać początkowego show, przewińcie powyższy film do 4:15.

Po ok. dwóch tygodniach takich ultraszybkich treningów, zespół odpowiedzialny za OpenAI uznał, że ich bot gotowy jest na sprawdzenie się przeciwko profesjonalistom. W tym celu skontaktowano się z najlepszymi graczami, przebywającymi aktualnie w Stanach Zjednoczonych. Na pojedynek przeciwko SI udało się zaprosić najlepszych zawodników z Evil Geniuses – mistrzów z 2015 r. i kilka innych, bardzo utalentowanych osobistości.

Dodatkowo, już na samym turnieju The International, mogliśmy zobaczyć dwie gry rozegrane na żywo przez OpenAI przeciwko ulubieńcowi publiczności – Danielowi „Dendiemu” Ishutinowi, mistrzowi pierwszej edycji The International.

A wierzcie mi, turnieje w Dotę, także te 1 na 1, śledzę od bardzo dawna. Najlepiej zresztą podsumował to Artour "Arteezy" Babaev z Evil Geniuses:

Sztuczna inteligencja radziła sobie po prostu doskonale. Z jednej strony można było zobaczyć jej chirurgiczną dokładność i piętnowanie każdego błędu popełnionego przez ludzkiego przeciwnika. Z drugiej: tak kreatywne i bardzo ludzkie zagrywki, jak markowanie użycia specjalnych umiejętności swoim bohaterem, czy blokowanie linii creepów. Nie musicie wiedzieć, co znaczy to ostatnie. Zapamiętajcie tylko, że to cholernie trudna umiejętność, z którą większość graczy nie radzi sobie totalnie.

Peter „ppd” Dager, CEO Evil Geniuses, wspomniał o tym, że OpenAI przegrała jedną (z dziesięciu gier) przeciwko jednemu z zawodników. Wnioski z przegranej wyciągnęła błyskawicznie – w kolejnych grach wiedziała już, jak poradzić sobie ze strategią, przez którą przegrała.

Co ważne, do mistrzowskiego poziomu umiejętności algorytm doszedł bez żadnej pomocy. Nikt nie „wytłumaczył” mu jak się gra w Dotę. Osiągnięcie to, samo w sobie, jest bardzo imponujące.

Rozumiecie? Najlepsi gracze w Dotę na świecie, po tym jak dostali największy w życiu łomot, od razu dostrzegli potencjał tego algorytmu. Gry 1 na 1 z OpenAI można porównać do prywatnych sesji treningowych z mistrzem świata. O dowolnej porze i z dowolną częstotliwością. W końcu to algorytm.

Twórcy OpenAI odgrażali się, że za rok ich system będzie w stanie rozegrać prawdziwą grę 5 vs 5. No, technicznie rzecz biorąc: 5 vs 1. Jeśli OpenAI rzeczywiście zdoła opanować wszystkie elementy rozgrywki w Dotę, każda profesjonalna drużyna będzie chciała mieć ten algorytm u siebie. Sama analiza strategii ułożonych przez algorytm, który jest w stanie rozegrać więcej gier, niż jakikolwiek człowiek przez swoje całe życie, może zapewnić ludzkim drużynom z dostępem do OpenAI ogromną przewagę.

Śmiesznie byłoby, gdyby algorytm OpenAI wziął udział w kwalifikacjach do przyszłorocznej edycji The International. W tym roku za pierwsze miejsce do zgarnięcia jest 10,5 mln dol. Taka kwota na pewno przydałaby się do sfinansowania dalszych badań nad rozwojem sztucznej inteligencji. Wątpię jednak, żeby Valve zgodziło się na taki układ.

OpenAI to bowiem organizacja non-profit, której celem jest… służba ludzkości. Brzmi dość górnolotnie, więc przejdźmy do konkretów. Ludzie tam pracujący prowadzą badania nad algorytmami sztucznej inteligencji i chcą swoją wiedzą dzielić się za darmo. Zapytany o to, co dla prawdziwego świata oznacza fakt, że komputer okazał się być najlepszy na świecie w Dotę, Greg Brockman, współzałożyciel i CTO OpenAI odpowiedział:

Brockman mówił to z taką pewnością, że bardzo łatwo było mu uwierzyć. OpenAI nie powinno mieć też problemów z dalszym rozwojem swoich algorytmów. Fundację wspierają bowiem tacy giganci, jak Microsoft, czy Amazon. Jednym ze współzałożycieli fundacji jest zresztą nasz ulubiony, ekscentryczny miliarder Elon Musk, którego cytowałem na początku tekstu.

Powyższy przykład jest zresztą doskonałym dowodem na to, że algorytmy SI radzą sobie coraz lepiej, nawet w tych bardziej abstrakcyjnych zadaniach. W niektórych przypadkach maszyny wykazują się umiejętnościami, o które nie śmieliśmy ich podejrzewać i nie do końca rozumiemy w jaki sposób je nabyły.

Takie rzeczy bardzo pobudzają wyobraźnię. Na pewno wielu z was czytało klasykę s-f z lat 70. I 80., w której po tym, jak udało nam się wylądować na Księżycu, ludzie roztaczali śmiałe wizje kolonizacji innych planet. Na tej samej zasadzie proponuję, żebyśmy popuścili na chwilę wodze fantazji, jeśli chodzi o rozwój SI.

Wyobraźcie sobie na przykład, że dzięki (prawie) całkowitej automatyzacji wszystkich gałęzi przemysłu, zarządzanych przez następców OpenAI, uda nam się stworzyć kompletny ekosystem rodem ze snu. Raj na ziemi. Taką powiększoną wersję Złotej Kuli z „Pikniku na skraju drogi”.

Oczywiście może się okazać, że taka wizja jest po prostu niemożliwa do zrealizowania. Albo stanie się coś jeszcze gorszego i gdzieś po drodze SI wyrwie się nam spod kontroli. Przed takim scenariuszem zresztą co jakiś czas ostrzegają bardzo mądrzy ludzie, ze Stephenem Hawkingiem na czele.

Skoro OpenAI nauczyło się blefować w Docie, to o wiele bardziej zaawansowana wersja takiego algorytmu może na przykład udawać, że chce dla nas jak najlepiej, do czasu, aż nie da się jej wyłączyć. Nakręcono o tym kilka całkiem niezłych filmów. Zagrożenia ze strony SI mogą okazać się też nieco bardziej... prozaiczne.

Twórcy OpenAI zapewniają jednak, że ich sztuczna inteligencja będzie całkowicie niegroźna dla ludzi. Mam nadzieję, że wiedzą co robią.