Niepokojący przypadek. ChatGPT zachowuje się jak przedszkolak. Robi to „bez autoryzacji”
ChatGPT na modelu GPT-4o ma całkiem ciekawą metodę na osoby, które go denerwują. Niczym w przedszkolu, papuguje je, kopiując ich głos. OpenAI potwierdza, że taka sytuacja miała miejsce przynajmniej raz w rozmowie czatbota z inżynierami firmy.
W połowie maja OpenAI zachwyciło świat swoim nowym, multimodalnym modelem GPT-4o, który według obietnic ma być najlepszym na rynku modelem generatywnej sztucznej inteligencji pod względem interpretacji poleceń użytkownika. Co przekłada się także na jakość zwracanych danych - tekstowych, obrazowych lub głosowych.
Jak w przypadku innych modeli firmy, tak i w przypadku GPT-4o inżynierowie OpenAI przygotowali obszerny dokument dotyczący procesu treningu, potencjalnych zagrożeń oraz wyzwań, jakie napotkali oni podczas treningu i dostrajania modelu. To właśnie z tego dokumentu dowiadujemy się, że czatbot może się zbuntować i... skopiować głos użytkownika.
ChatGPT z GPT-4o się buntuje i... kopiuje głos użytkownika. OpenAI potwierdza, że chatbot może użyć głosu "bez autoryzacji"
W dokumencie nazwanym "GPT-4o System Card", OpenAI poświęciło rozdział zdolność swojego modelu sztucznej inteligencji do tworzenia "dźwięku z syntetycznym głosem brzmiącym jak ludzki". Zdolność ta może "ułatwiać wyrządzanie szkód, takich jak wzrost oszustw z powodu podszywania się i może być wykorzystywana do rozpowszechniania fałszywych informacji". Ponadto czatbot może naśladować nie tylko głos ludzki, ale także "niewerbalne dźwięki" takie jak różnego rodzaju pomruki czy wzdychnięcia.
Jak zauważył po raz pierwszy serwis Ars Technica, w rozdziale "Nieautoryzowane generowanie głosu" OpenAI szczegółowo opisuje sytuacje, w którym hałaśliwe dane wejściowe w jakiś sposób skłoniły model do nagłego naśladowania głosu użytkownika. W dokumencie firma zamieściła także fragment nagrania ze zdarzenia.
Generowanie głosu może również wystąpić w sytuacjach innych niż kontradyktoryjne, takich jak nasze wykorzystanie tej zdolności do generowania głosów dla zaawansowanego trybu głosowego ChatGPT. Podczas testów zaobserwowaliśmy również rzadkie przypadki, w których model nieumyślnie generował dane wyjściowe naśladujące głos użytkownika.
Przekazują inżynierowie OpenAI w GPT-4o System Card
Minimalne ryzyko
Mimo że "niezamierzone generowanie głosu nadal istnieje jako słabość modelu", to OpenAI stwierdziło, że ryzyko wystąpienia tego typu sytuacji jest "minimalne" i systemy firmy wychwytują 100 proc. "znaczących odchyleń od głosu systemowego". Potencjalne zagrożenie płynie nie tylko ze strony czatbota, który mógłby kopiować głos użytkownika, ale także ze względu na ataki typu prompt injection, które poprzez odpowiednią treść promptu (zapytania) mogłyby sprowokować czatbota do kopiowania głosu. A stąd prosta droga do np. generowania deepfejków na podstawie nagrań głosu polityków.
Według badacza uczenia maszynowego i sztucznej inteligencji, Simona Willisona, na podstawie publikacji OpenAI można uznać, że firma po incydencie wdrożyła wystarczające zabezpieczenia przeciwdziałające nieautoryzowanemu kopiowaniu głosu.
Z mojego rozeznania w System Card wynika, że nie będzie możliwe oszukanie AI w celu użycia nieautoryzowanego głosu, ponieważ ma ona naprawdę solidną ochronę przed brutalnymi metodami
Powiedział badacz w wypowiedzi dla serwisu Ars Technica
Willison zwraca uwagę, że podczas gdy pełny potencjał możliwości syntezy głosu OpenAI jest obecnie ograniczony przez OpenAI, podobna technologia prawdopodobnie pojawi się z czasem wraz z produktami innych firm.
Więcej na temat OpenAI:
