Sprawdziłam wykrywacz AI, który zachwycił internet. Czy można na nim polegać?

Wypadkową mojego zawodu oraz tematyki którą się zajmuje jest fakt, że potrafię całkiem dobrze zidentyfikować czy dany tekst lub grafika jest wygenerowany przez AI. Nie jestem pod tym względem ideałem - bo nikt nie jest - ale w zdecydowanej większości przypadków prośby znajomych czy rodziny o identyfikację, jestem w stanie z dużą pewnością wykazać syntetyczne pochodzenie treści.

Jednak nie jest to umiejętność, której oczekuję od innych i całkowicie rozumiem każdą osobę, która daje się naciąć na abominacje pokroju fanpage Smaki Dnia czy artykuły podsuwane przez strony-słupy w Google Discover. Z tego samego powodu mam nadzieję, że w końcu Dolina Krzemowa przyjdzie z rozwiązaniem, które pozwoli przeciętnemu zjadaczowi chleba trafnie wykryć czy ma do czynienia z tworem ludzkim, czy z AI slopem.

Pangram to nowojorski startup założony około dwóch lat temu przez Maxa Spero i Bradleya Emiego, absolwentów Stanfordu specjalizujących się w sztucznej inteligencji i uczeniu maszynowym. Firma rozwija narzędzia mające rozpoznawać zarówno teksty, jak i obrazy stworzone z pomocą modeli generatywnych. Firma oferuje swoje rozwiązania zarówno bezpośrednio użytkownikom, jak i za pośrednictwem API. Z technologii Pangram - zgodnie z treścią ich strony internetowej - korzystają między innymi wydawcy, uczelnie, rekruterzy oraz platformy internetowe, a jednym z jej zastosowań jest oznaczanie na Substacku newsletterów tworzonych z wykorzystaniem AI. To właśnie integracja z Substackiem sprawiła, że Pangram zdobył ogromne zainteresowanie i rzeszę nowych użytkowników

Podstawą działania detektora tekstu jest model uczenia maszynowego wytrenowany na dziesiątkach milionów dokumentów napisanych przez ludzi. Pangram tworzy następnie dla każdego z nich syntetyczny odpowiednik wygenerowany przez jeden z zaawansowanych modeli językowych, zachowując temat, długość i styl oryginału. W ten sposób system ma uczyć się charakterystycznych różnic stylistycznych i wyborów językowych dokonywanych przez AI. Startup podkreśla przy tym, że nie korzysta z ukrytych znaków, metadanych ani znaków wodnych, a jego celem jest również rozpoznawanie tekstów, w których człowiek korzystał z AI jedynie do redakcji lub poprawy własnego materiału.

Drugim rozwijanym przez Pangram rozwiązaniem jest detektor obrazów. W przeciwieństwie do systemów opartych na watermarkach przypisanych do konkretnego generatora analizuje on rozkład pikseli i szuka subtelnych statystycznych różnic między prawdziwymi zdjęciami a obrazami wygenerowanymi przez AI. Narzędzie ma być dzięki temu zdolne do rozpoznawania obrazów pochodzących z różnych modeli, a także wykrywania wygenerowanych elementów znajdujących się wewnątrz pozornie prawdziwych fotografii.

O Pangramie słyszałam już kilkukrotnie, ale dopiero recenzja Briana Chena na łamach New York Times zainspirowała mnie do sprawdzenia wykrywacza. Chen wypowiadał się o Pangramie bardzo pozytywnie - aczkolwiek w żadnym wypadku nie idealizował, że Pangram jest bezbłędny i nieomylny. Co jest stosunkowo rzadkie biorąc pod uwagę, że wykrywacze AI są powszechnie znane z ocen na chybił-trafił. Dlatego postanowiłam dać mu szansę.

Pangram dostępny jest w trzech różnych planach: darmowym, indywidualnym i profesjonalnym. Darmowy pozwala na maksymalnie cztery sprawdzenia tekstu dziennie. Indywidualny - kosztujący 20 dolarów/mies - ogromnie powiększa limit sprawdzeń i dodaje możliwość sprawdzenia pod kątem plagiatu. Profesjonalny to jedynie przedłużenie indywidualnego poprzez jeszcze większe podniesienie limitów w cenie 65 dol./mies.

Przysiadłam do Pangramu i od razu załadowałam do niego plejadę ponad 20 różnych tekstów - od artykułów prasowych z dzienników, poprzez posty z serwisów Facebook, X, Reddit i LinkedIn, a kończąc na tekstach po prostu wygenerowanych przeze mnie przez AI.

Skuteczność Pangrama była mieszana. Jeżeli chodzi o teksty w języku angielskim, wykrywacz trafnie identyfikował ich pochodzenie, niezależnie od charakteru, tematyki, długości i tego czy autorem jest człowiek czy maszyna.

Zgodnie z oczekiwaniami, schody zaczęły się gdy zaczęłam wrzucać do Pangrama teksty w języku polskim - również o różnym pochodzeniu, charakterze, tematyce i długości. Efektywność Pangrama znacznie spadła, dając mi miszmasz poprawnych identyfikacji, braku pewności oraz wyników fałszywie pozytywnych - AI slopu oznaczonego jako wypowiedź człowieka oraz ludzkiego tworu jako efektu pracy AI.

Jedyne co mogę powiedzieć pozytywnego o Pangramie z językiem polskim to fakt, że każdy przypadek polskojęzycznych boomertrapów był poprawnie identyfikowany, dzięki czemu jestem w stanie polecić go przynajmniej osobom próbującym dać lekcję cyfrowej higieny swoim rodzicom lub dziadkom.

Od niedawna platforma oferuje także wykrywacz obrazów wygenerowanych przez AI, a firma deklaruje jego skuteczność na poziomie aż 99,5 proc. Przy testowaniu skuteczności tego wykrywacza również sięgnęłam po różnorodność - ponad 30 grafik, a wśród nich zrzuty ekranu z filmików w internecie, losowe zdjęcia z pamięci mojego telefonu, garść fotografii z Shutterstocka, oraz twory AI mniej lub bardziej wiarygodne.

Tu również miałam do czynienia z misz-maszem werdyktów, wynikami fałszywie pozytywnymi i wzdrygnięciu się Pangrama przy niektórych fotografiach.

Aczkolwiek ponownie poprawnie wykrywał wszystkie slopy, na które mógłby naciąć się przeciętny emeryt lub osoba nieobyta w internecie, co jest dla mnie najważniejsze w przypadku tego typu narzędzi.

I tak i nie.

Tak dlatego że jest najbardziej efektywny w przypadku wszystkich treści, które są najbardziej szkodliwe w internecie - niskiej jakości, próbujące celowo wywołać sensację lub sztucznie zainteresować odbiorcę. Fakt, te zwykle są najłatwiejsze do zidentyfikowania, ale nie ulega wątpliwości, że osoby nie widzące różnicy pomiędzy nimi a fotografiami i ilustracjami stworzonymi przez ludzi stanowią największy odsetek internautów.

Nie ponieważ Pangram wciąż zwraca zbyt wiele fałszywych pozytywów by być narzędziem, które można wszechstronnie stosować i móc zaufać w skali porównywalnej z innymi usługami, którym powierzamy wykonanie za nas jakiegoś zadania. Zdaję sobie sprawę, że w sumie około 60 testów jest w granicach błędu statystycznego aniżeli definitywnego werdyktu użyteczności Pangramu, jednak fałszywe alarmy na niektórych oczywistych tekstach i grafikach - w moich oczach - skutecznie ujęły usłudze wiarygodności.

Ponadto stosunkowo wysoka cena za tak bardzo jednowymiarową usługę jaką jest sprawdzanie tekstu i grafik pod kątem bycia wygenerowanymi przez AI sprawia, że ciężko polecić Pangram do codziennego użytku komukolwiek.