Pobrałem Copilota na iPhone'a i jestem zdumiony idiotyzmami. Sztuczna bezinteligencja
Chwilę przed Nowym Rokiem Microsoft opublikował aplikację Copilot dla iOS. Pobrałem ją, uruchomiłem i zdębiałem, czytając odpowiedzi na pierwsze pytania zadane sztucznej inteligencji wspartej modelem GPT-4.
Redakcyjni akolici Microsoftu w Spider's Web od miesięcy produkują peany na temat AI wszytej w przeglądarkę Edge. Początkowo znany jako Bing Chat, Copilot ma być rzekomo najlepszym czatbotem powszechnie dostępnym na rynku, korzystającym z modelu GPT-4. W przeciwieństwie do ChataGPT, Copilot ma dostęp do najnowszych informacji, a także cytuje i linkuje do źródeł.
Poraziło mnie, jak złe, niedokładne i błędne są odpowiedzi generowane przez aplikację Microsoft Copilot.
Pierwsze zadanie, jakie zleciłem Copilotowi na iOS, dotyczyło sporządzenia listy 15 najlepszych gier dla konsoli Nintendo Switch wydanych w 2023 r. Sam robiłem podobną listę na Spider's Web w oparciu o ograne w ciągu minionego roku produkcje i byłem ciekaw, jak ranking Copilota będzie się miał do mojej białkowej topki.
Naprawdę nie sądziłem, że sztuczna inteligencja Microsoftu wyprodukuje tak niedokładną, błędną listę. Byłem szczerze porażony tym, ile znalazło się w niej niedokładności oraz ordynarnych błędów. Aplikacja nie tylko nie poradziła sobie z wyznaczonym zadaniem, ale wręcz wprowadzała mnie - jako użytkownika - w błąd. A to chyba najgorsza przewina jakiej może się dopuścić chatbot.
- Zadanie: "podaj listę 15 najlepszych gier dla Switcha wydanych w 2023 roku"
Rozbierzmy błędną listę wyprodukowaną przez Microsoft Copilota na części pierwsze.
Pierwszy błąd zauważyłem przy grze Super Mario Bros. Wonder. Kiedy wczytujemy się w jej opis, możemy przeczytać, że kluczowym elementem rozgrywki jest czapka Cappy, potrafiąca przejmować kontrolę nad obiektami i istotami. Cappy faktycznie pojawia się w grze dla Switcha, tyle tylko, że jest to wydane wiele lat wcześniej Super Mario Oddysey.
Inną grą z topu Copilota jest Super Mario RPG: Legend of the Steven Stars. Tutaj już w tytule pojawia się błąd. Produkcja z podtytułem "Legend of the Steven Stars" to klasyk dla konsoli SNES sprzed kilku dekad. Nowa gra wydana w 2023 roku to po prostu "Super Mario RPG". Bez dopisku. Ponadto, nowy tytuł jest remakiem oryginału, podczas gdy Microsoft Copilot nazywa go remasterem. To dwie zupełnie inne metody produkcji gier. Na tym tle błędy językowe takie jak "system walki turowego" bledną.
Moje brwi wystrzeliły do góry, gdy przeczytałem opis wybitnej gry The Legend of Zelda: Tears of the Kingdom. Według Copilota produkcja "wykorzystuje technologie Ssitxha". Czym jest owy Ssitxh? Wpisując ten zwrot w wyszukiwarce Bing, pierwszy wynik dotyczy konsoli Nintendo Switch. AI serwuje więc literówkę godną internauty po kilku drinkach.
Ta sama literówka pojawia się ponownie, w punkcie dla Metroid Prime Remastered. Tyle tylko, że według Copilota tytuł tej gry to po prostu "Metroid Prime". Powstaje ciekawa analogia z Super Mario RPG. Tam, gdzie podtytuł nie jest potrzebny, AI Microsoftu go dopisało. Tam, gdzie dospisek stanowi część tytułu, Copilot go ignoruje. Ponadto AI Microsoftu wprowadza w błąd czytelnika, pisząc o… możliwości sterowania w grze przy pomocy głosu.
Kolejny duży merytoryczny błąd dotyczy gry Red Dead Redemption wydanej dla Switcha.
Według Copilota rewelacyjny western działa na silniku Unreal Engine 5. To oczywiście nie jest prawdą, twórcy z Rockstar Games korzystają z autorskiego RAGE - Rockstar Advanced Game Engine - tworząc na nim produkcje od 2006 r. Dyskusyjne jest też to, że według Copilota mamy do czynienia z remasterem oryginalnej gry. RDR wciąż czeka na remaster z prawdziwego zdarzenia.
Następny błąd to już ordynarna kpina z użytkownika. Na liście pojawia się bowiem Animal Crossing: New Horizons. Niezwykle popularny tytuł zadebiutował nie w 2023, a w 2020 r. Co więcej, w 2023 r. nie została wydana żadna duża aktualizacja dla tej gry, dlatego naprawdę nie wiem, skąd AI Microsoftu wyciągnęło wnioski, że mamy do czynienia z produkcją wydaną w minionym roku.
Dokładnie ten sam problem tyczy się gier Pokemon Sword i Pokemon Shield. Są obecne na liście najlepszych tytułów wydajnych w 2023 r., chociaż ich premiera miała miejsce cztery lata wcześniej, w 2019 r. W minionych 12 miesiącach ukazały się natomiast gry Pokemon Scarlet i Pokemon Violet, których na liście jednak nie znajdziemy.
Wisienką na torcie jest obecność na liście gry Mario Kart 9. Taka nie istnieje.
Mario Kart 9 nie tylko nigdy nie miało swojej premiery, ale nawet nie zostało oficjalnie zapowiedziane przez Nintendo. Microsoft Copilot kompletnie więc odleciał. Sztuczna inteligencja bardziej szkodzi niż doradza, przynajmniej jeśli szukamy rekomendacji dobrych gier. Tutaj wszelkiej maści rankingi tworzone przez białkowe istoty pozostają niezastąpione.
Składając to wszystko w całość, byłem porażony ilością błędów, dużych i małych, wygenerowanych przez sztuczną inteligencję. Błędów bardzo łatwych do wyeliminowania, gdyby Copilot korzystał ze sprawdzonych źródeł bądź potrafił lepiej dobierać informacje.
Gdy wskazałem sztucznej inteligencji popełnione błędy i zapytałem o ich powody, Microsoft Copilot zwalił winę na źródła.
Copilot każdorazowo najpierw przyznawał się do błędu, a później odsyłał do źródła, przez które owy błąd popełnił. Tyle tylko, że te źródła nie wprowadzają w błąd. Przykładowo, w kwestii Mario Kart 9 sztuczna inteligencja podaje artykuł redakcji Android.com.pl. Tyle tylko, że ten artykuł nie odnosi się do wydanej gry, a jest zbiorem spekulacji na temat tytułu. Problem nie leży więc po stronie redakcji serwisu technologicznego, ale błędnej interpretacji treści tego serwisu przez Copilota.
Jeszcze ciekawiej robi się w przypadku opisu Super Mario Bros. Wonder, w którym mogliśmy przeczytać o czapce Cappy. Copilot za źródło wskazuje… niezarejestrowanego użytkownika serwisu Wikipedia, bez powołania się na źródło. Jeśli na podstawie takich treści Copilot ma generować wyniki dla swoich użytkowników, to ja jednak podziękuję.
Copilot może być świetny jako asystent pracy, ale do porządnego czatbota wciąż mu daleko.
Oryginalnym przeznaczeniem Copilota było wspomaganie pracy programistów, tworzenie kodu czy sporządzanie dokumentacji. Microsoft rozszerzył możliwości tej AI i osadził ją w roli pomocnika pakietu biurowego Office, a także czatu dla przeglądarki Bing. Jednak teraz, jako Microsoft Copilot, rozwiązanie stało się dostępne w formie samodzielnego czatbota mającego odpowiadać na zwykłe pytania zwykłych ludzi.
W przypadku mojego zadania Microsoft Copilot popełnił kompromitującą porażkę. Gdy zobaczyłem odpowiedź pełną błędów i niedopowiedzeń, trudno mi zakładać, że w innych obszarach będzie bardziej kompetentny.
