Sztuczna inteligencja staje się coraz lepsza. Algorytm DeepMind po mistrzowsku opanował grę w Starcrafta 2

Oczywiście ten 200-letni okres nauki w rzeczywistości trwał raptem kilka tygodni. Wystarczyło odrobinę (czyli kilkaset razy) przyspieszyć tempo rozgrywki w Starcrafta 2 - algorytmy maszynowego uczenia się bez problemu są w stanie uczyć się w takim tempie. W przypadku ludzi jest to oczywiście niemożliwe.

Algorytm stworzony przez OpenAi po raz pierwszy zaprezentował swój potencjał w 2017 r., podczas najważniejszego turnieju w Dotę 2, organizowanego przez firmę Valve. Najlepsi ludzcy zawodnicy zmierzyli się wtedy z algorytmem w serii pojedynków 1 na 1.

Nauka obu gier wyglądała następująco: algorytm OpenAI uczył się grać w trybie 1 na 1 całkiem sam. Jego twórcy żartowali nawet, że przez pierwsze kilkaset gier algorytm robił najgłupsze rzeczy na świecie. Gry oczywiście rozgrywane były w czasie przyspieszonym. Po godzinie takiego treningu, który normalnemu człowiekowi zająłby prawdopodobnie kilkaset, bądź kilka tysięcy godzin, OpenAI doszło do poziomu gracza typu casual.

Po ok. dwóch tygodniach takich ultraszybkich treningów, zespół odpowiedzialny za OpenAI uznał, że ich bot gotowy jest na sprawdzenie się przeciwko profesjonalnym graczom w Starcrafta 2. Do pojedynku z algorytmem zgłosiło się dwóch śmiałków: Dario „TLO” Wunsch i Grzegorz „Mana” Komincz, którzy w ogólnoświatowym rankingu zajmują 44. i 13. miejsce. Żaden z nich nie był w stanie dorównać umiejętnościom nabytym przez algorytm.

Alphastar, czyli wersja algorytmu DeepMind, która nauczyła się grać w Starcrafta 2, ograniczona była do znajomości pojedynczej mapy oraz do grania jedną z trzech dostępnych w grze ras - Protossami. Można oczywiście kręcić nosem i dyskutować, że nauczenie się gry na pojedynczej mapie jest z pewnością o wiele łatwiejszym zadaniem, niż opanowanie gry na wszystkich dostępnych planszach. Pamiętajmy jednak, że jest to kolejny etap eksperymentu, którego celem jest stworzenie algorytmu do radzenia sobie z realnymi problemami, takimi jak np. prowadzenie dużej firmy.

A dlaczego algorytm uczył się gry w Starcrafta 2? Jego twórcy tłumaczą, że ta gra skupia się na kilku ważnych ich zdaniem aspektach, które przydadzą się DeepMind w przyszłości. Po pierwsze, w grze od studia Blizzard nie istnieje pojedyncza strategia, której zastosowanie za każdym razem przyniesie zwycięstwo. Żeby wygrać, algorytm musiał nauczyć się przystosowywać do tego, co robi przeciwnik.

Drugą kwestią jest brak wszystkich informacji o ruchach przeciwnika - w grach takich jak go albo szachy, wszystkie ruchy przeciwnika są od razu widoczne na planszy, w Starcrafcie trzeba z kolei pamiętać o ich aktywnym pozyskiwaniu. Do tego dochodzi również aspekt gry w czasie rzeczywistym, który jest o wiele trudniejszym konceptem dla algorytmu, niż podział na tury. Sama gra jest też o wiele bardziej złożona niż wymienione wyżej dyscypliny, przez co wymaga o wiele lepszego planowania przyszłych ruchów.

Powody wymienione powyżej sprawiały, że gra w Starcrafta 2 była niezwykle skomplikowaną koncepcją dla algorytmu DeepMind. Teraz, kiedy jego twórcom w końcu udało się uzbroić algorytm w odpowiednie narzędzia do skutecznej nauki i opanowania tak rozległego problemu, mogą oni zacząć myśleć o przygotowaniu go do jeszcze bardziej skomplikowanych zadań. Ciekawy jestem, co to będzie? Kolejna gra? A może gra na giełdzie?