Zmieniają zdjęcia ludzi bez ich wiedzy. Sklepy z aplikacjami mają potężny problem
Repozytoria dla najpopularniejszych telefonów są pełne aplikacji, które w kilka chwil są w stanie przerobić zdjęcie dowolnej osoby na wersję pozbawioną odzienia. W tym nieletnich.
Najnowsza analiza Tech Transparency Project pokazuje, że w obu sklepach mobilnych - Apple'a i Google’a - bez większego wysiłku można znaleźć aplikacje służące do generowania niekonsensualnych, seksualizowanych przeróbek zdjęć. Wystarczy wpisać w wyszukiwarkę App Store lub Google Play słowa „nudify” albo „undress” by natknąć się na narzędzia, które według oficjalnych zasad nie powinny przejść nawet pierwszego etapu weryfikacji.
Bloomberg opisuje sytuację bez ogródek: aplikacje nie tylko są dostępne, ale wręcz promowane poprzez reklamy wyświetlane w wynikach wyszukiwania. To oznacza, że twórcy tych narzędzi płacą Apple’owi i Google’owi za ekspozycję, a sklepy - mimo zakazów - te pieniądze przyjmują.
Czytaj też:
Skala zjawiska jest absurdalna. Mówimy o setkach milionów pobrań i przychodach przekraczających 120 mln dol.
Według TTP takich aplikacji jest ponad sto, rozłożonych mniej więcej po równo między oba sklepy. Łącznie zanotowały ponad 700 mln pobrań, co samo w sobie brzmi jak żart, ale dane finansowe robią jeszcze większe wrażenie. Przychody przekroczyły 120 mln dol., głównie dzięki subskrypcjom i mikropłatnościom od użytkowników, którzy chcą „odblokować” bardziej zaawansowane funkcje.
Jak to możliwe, skoro regulaminy są jednoznaczne? Apple i Google od lat podkreślają, że nie dopuszczają aplikacji umożliwiających generowanie treści seksualnych bez zgody osób przedstawionych. W praktyce okazuje się, że wystarczy odpowiednio neutralny opis, kilka eufemizmów i funkcje ukryte za paywallem, by przejść przez proces weryfikacji.
Twórcy takich aplikacji doskonale wiedzą, jak działa moderacja. Ukrywają najbardziej kontrowersyjne funkcje w płatnych modułach, stosują niewinne nazwy i ikony, a w opisach mówią o „zabawnych filtrach” czy „kreatywnych przeróbkach zdjęć”. Dopiero po instalacji okazuje się, że głównym celem programu jest generowanie realistycznych, seksualizowanych obrazów osób, które nigdy nie wyraziły na to zgody.
TTP nie owija w bawełnę: to narzędzia stworzone do nadużyć
Organizacja określa te aplikacje jako „designed for abuse”. I trudno się z tym nie zgodzić. Ich funkcjonalność nie ma żadnego sensownego zastosowania poza tworzeniem materiałów, które mogą być wykorzystane do nękania, szantażu, kompromitowania osób prywatnych czy rozpowszechniania fałszywych treści o celebrytach.
Co gorsza, wiele z tych aplikacji działa w modelu „upload and forget”. Użytkownik wrzuca zdjęcie, a reszta dzieje się w chmurze, często na serwerach o niejasnej lokalizacji i nieznanych zasadach przechowywania danych. To otwiera kolejny front ryzyka: prywatne fotografie mogą trafiać do baz danych, nad którymi nikt nie ma kontroli.
Po publikacji raportu TTP obie firmy zaczęły usuwać wskazane aplikacje. Apple poinformował o usunięciu 28 pozycji, choć TTP naliczyło ich mniej. Google usuwał aplikacje stopniowo, falami, co sugeruje, że część z nich była wykrywana dopiero po nagłośnieniu sprawy.
To jednak nie rozwiązuje problemu. Wyszukiwarki sklepów nadal potrafią wyświetlać podobne narzędzia, a twórcy takich aplikacji są mistrzami w tworzeniu klonów i powrotów pod nowymi nazwami. Jedna aplikacja znika, dwie kolejne pojawiają się w jej miejsce.
Procesy weryfikacji ewidentnie nie są przygotowane na narzędzia oparte na AI, twórcy takich aplikacji są coraz sprytniejsi, a sklepy mobilne - mimo miliardowych budżetów - nie potrafią skutecznie blokować oprogramowania, które z definicji służy do nadużyć. I choć obie firmy zaczęły usuwać wskazane aplikacje to nie zmienia faktu, że przez lata pozwalały im rosnąć, zarabiać i zdobywać setki milionów użytkowników. A to już nie jest drobna rysa na wizerunku, tylko poważny sygnał, że „bezpieczne ekosystemy” wymagają gruntownego remontu.
