Państwa wydają ogromne pieniądze na tworzenie niejasnych algorytmów, które mogą podejmować decyzje wpływające na życie milionów ludzi. Tworzą "cyfrowy przytułek dla ubogich" zamiast dofinansować obszar, który rozwiązałby dany problem społeczny.
Jedną z ważniejszych scen w filmie "Ja, Daniel Blake" jest ta, w której urzędniczka przepytuje tytułowego bohatera o jego stan zdrowia. Zadaje proste pytania, na które trudno odpowiedzieć inaczej niż twierdząco. A na koniec konkluduje, że mężczyzna jest całkiem zdrowy, nie przysługuje mu zasiłek chorobowy i musi wrócić do pracy.
To, że Blake przeszedł zawał, a lekarz zabronił mu do tej pracy wracać, nie ma znaczenia dla bezdusznego systemu reprezentowanego przez trzymających się sztywno procedur urzędników. Bohater filmu Kena Loacha próbuje więc utrzymać się na powierzchni, przetrwać, a jednocześnie uzyskać pomoc. W pewnym momencie lituje się nad nim inna urzędniczka, ale szybko za pokazanie ludzkiej twarzy zostaje skarcona przez szefową i wezwana na dywanik.
O ile Daniel Blake mógł jeszcze liczyć na ludzki gest, to tyle szczęścia mogą nie mieć ci, których obsługiwać będą nie ludzie, lecz zautomatyzowane systemy decyzyjne oparte na danych. A rządy i instytucje publiczne coraz częściej je wykorzystują w usługach publicznych; przyznawaniu świadczeń, zasiłków, ale też wstrzymywaniu ich wypłat lub sprawdzaniu, czy ktoś nie próbuje systemu oszukać i wyłudzić pieniędzy.
Dane o obywatelach zbierane są niemal przy każdej okazji, chociaż nie zawsze zdajemy sobie sprawę, ile informacji przekazujemy państwu.
W końcu musimy zdradzić, ile zarabiamy, gdy np. wypełniamy wniosek, rekrutując dziecko do przedszkola, składając wniosek o zasiłek, starając się o mieszkanie socjalne czy wsparcie z pomocy społecznej. Podobne przykłady można mnożyć, a dane zbierane przy różnych okazjach przez różne instytucje są często łączone i nawet nie mamy świadomości, że w konkretnej sprawie są wykorzystywane. Mogą one obejmować wszystko od kwestii społeczno-demograficznych, przez warunki życia i dochody, po narodowość, płeć i tak dalej.
Rządy gromadzą dane, a następnie analizują, by przewidywać potrzeby obywateli i zapewniać usługi publiczne. Jednak coraz częściej służą one również do profilowania, kategoryzowania, oceniania, a nawet podejmowania decyzji. Często bez naszej wiedzy i z niewielkimi możliwościami sprzeciwu czy odwołania.
Czym są owe zautomatyzowane systemy podejmowania decyzji? Pytam o to dr Karolinę Sztandar-Sztanderską, socjolożkę i badaczkę cyfryzacji państwa i nierówności w dostępie do usług publicznych z Instytutu Filozofii i Socjologii Polskiej Akademii Nauk.
– Mówiąc najprościej, to komputerowe systemy, które pośredniczą w decyzjach, dawniej podejmowanych tylko przez urzędników. Taki system może na podstawie dostarczonych mu danych przygotować rekomendację dla człowieka, który później formalnie podejmie decyzję. A może też w sposób w pełni zautomatyzowany podejmować decyzje samodzielnie. Na przykład uznać, że dana osoba dostanie zasiłek lub że winna jest nadużycia i musi zwrócić wypłacone jej środki – wyjaśnia dr Karolina Sztandar-Sztanderska, która niedawno współorganizowała konferencję "Automating Welfare: Policy Implications of AI in the Digital Welfare States" podejmującą te zagadnienia.
– Mogą to być narzędzia analityczne oparte na sztucznej inteligencji, ale również algorytmy lub proste programy jak Excel z arkuszem do wyliczeń – uzupełnia Mateusz Tomasz Wrotny, prawnik z Fundacji Panoptykon, i dodaje, że w Polsce z takich rozwiązań korzysta na przykład Zakład Ubezpieczeń Społecznych.
Wiadomo, że od 2022 roku automatycznie obsługuje wnioski programów dla rodzin takich jak 800 plus czy Aktywny Rodzic. Korzyści dla samego ZUS-u jak i składających wnioski są oczywiste. Automatyzacja zmniejsza obciążenie pracowników. Mówił o tym prezes ZUS, podając przykład świadczenia 800 plus, które dawniej obsługiwało ok. 10 tysięcy urzędników w gminach, a dziś około 200 osób w centrach ZUS. A to oznacza miliardowe oszczędności dla budżetu państwa. To też oszczędność liczonego w tonach papieru. Z drugiej strony, to wygoda dla rodziców, którzy mogą złożyć wniosek elektronicznie, przez aplikację bez wychodzenia w domu, a do tego w dogodnym momencie, czyli także poza godzinami pracy urzędu.
Na tym jednak nie koniec. Bo zautomatyzowane systemy są też używane przez ZUS do wykrywania nieprawidłowości.
Mówił o nich choćby Philip Alston, specjalny sprawozdawca ONZ ds. skrajnego ubóstwa i praw człowieka, ostrzegając przed cyfryzacją i automatyzacją w systemach opieki społecznej, które mogą prowadzić do nadużyć i łamania praw człowieka. Tłumaczył, że rządy wdrażają takie rozwiązania, przekonując, że chodzi głównie o poprawę usług socjalnych, bezpieczeństwo i oszczędności, ale w rzeczywistości nie przyjmują niezbędnych zabezpieczeń, co może skutkować drastycznymi nadużyciami. "Istnieje poważnie ryzyko wpadnięcia niczym zombie w cyfrową dystopię pomocy społecznej" – przekonywał Philip Alston.
– ZUS ma co najmniej dwa systemy. Pierwszy wspomaga wykrywanie nadużyć w zwolnieniach lekarskich. W teorii ma pomagać wyszukiwać i typować takie zwolnienia, gdzie istnieje podejrzenie nieprawidłowości. Drugi zaś ma wspomagać typowanie przedsiębiorców, którzy mają być objęci kontrolą dotyczącą opłacania składek zdrowotnych. Problem w tym, że nie wiemy, jak algorytmy zostały zaprogramowane, na jakich danych wyszkolone. Nie wiemy do końca, jak działa, bo ZUS nie udostępnia publicznie na ten temat żadnych informacji. Wiemy zaś, że mogą mieć ogromny, także negatywny, wpływ na ludzkie życie – mówi Wrotny.
Oznacza to, że wygoda i oszczędności to tylko jedna strona medalu. Na drugiej są często niedostrzegane zagrożenia.
I są to słowa potwierdzone licznymi i rzetelnie udokumentowanymi doświadczeniami, także z państw, których nie podejrzewaliśmy o dyskryminację obywateli czy niedemokratyczne praktyki.
Najgłośniejszy przypadek dotyczy Holandii, gdzie rząd w 2014 roku zaczął stosować tajny algorytm do wykrywania możliwych oszustów w systemie zabezpieczenia społecznego. System o nazwie SyRI (od System Risk Indication) miał wskazywać obywateli, których przypadki wymagają "dalszego zbadania", bo według systemu wysokie było prawdopodobieństwo popełnienia przez nich nadużyć. Okazało się jednak, że narzędzie zamiast wykrywać oszustwa, pogłębia uprzedzenia i dyskryminację, bo system wdrożono tylko w dzielnicach zamieszkiwanych przez osoby o niskich dochodach.
Dziennikarskie śledztwo The Wired pokazało, że system niesłusznie oskarżył o oszustwa tysiące rodzin, co wywołało potężny skandal i polityczny kryzys, który skończył się dymisją premiera Marka Rutte. Zarzuty potwierdził też holenderski sąd, który nakazał natychmiastowe wstrzymanie SyRI, uznając, że system narusza Europejską konwencję praw człowieka.
Skandalem i łamaniem praw człowieka skończył się też zautomatyzowany system, który w 2016 roku wprowadził rząd Australii. Robodebt, bo o nim mowa, opierał się na sztucznej inteligencji i był zaprojektowany do obliczania nadpłat i zawiadamiania o długach odbiorców świadczeń socjalnych. Okazało się, że system wysłał błędnie ponad 500 tysiącom osób zawiadomienia o długach i niesłusznie żądał zwrotu rzekomo nieprawidłowo wypłaconych świadczeń, czasem na lata wstecz, na łączną kwotę 900 mln dolarów. Automatycznie oznaczało to wstrzymanie dalszych wypłat świadczeń socjalnych, np. zasiłków dla bezrobotnych.
System przez trzy lata zmuszał najbiedniejszych obywateli do spłacania fałszywych długów, aż w końcu w 2019 roku sąd uznał go za nielegalny. Po drodze jednak wiele osób popadło w rzeczywiste długi, musiało wyprzedawać majątek i zaciągać pożyczki, aby pilnie, bo było na to ledwie kilka tygodni, spłacić fikcyjne zobowiązania. Sprawiedliwość, zwroty świadczeń i odszkodowania przyszły dopiero lata później.
– System generował masowe błędy i doprowadził do prześladowań i stygmatyzacji niewinnych ludzi, chorób, rozpadów rodzin, samobójstw. Odwracał podstawową zasadę sprawiedliwości: domniemanie niewinności. Decyzje o rzekomym popełnieniu nadużyć wydawano bez dowodów. A od osób, które uznano za podejrzane, wymagano udowodnienia, że nie zrobiły nic złego. Koszty ludzkie były ogromne – opowiada dr Karolina Sztandar-Sztanderska.
A jej słowa potwierdzają wyniki państwowej komisji, która badała działanie systemu. W końcowym raporcie jej członkowie opisali program jako "kosztowną porażkę administracji publicznej, która miała rozległe, niszczycielskie i długotrwałe negatywne skutki".
"Robodebt był prymitywnym i okrutnym mechanizmem, nie był ani uczciwy, ani legalny i sprawiał, że wiele osób czuło się jak przestępcy" – napisała komisarz Catherine Holmes, współautorka raportu o Robodebt.
Rażących błędów nie ustrzegł się też rząd Wielkiej Brytanii, który wprowadził sztuczną inteligencję do systemu świadczeń socjalnych. System miał oceniać wnioski osób ubiegających się o zasiłki lub pomoc żywnościową oraz wykrywać potencjalne oszustwa. I choć ostateczną decyzję miał podejmować człowiek, to i tutaj skończyło się nadużyciami, które opisał "The Guardian". Jego dziennikarze odkryli, że system jest uprzedzony np. ze względu na wiek, niepełnosprawność i narodowość. Ofiarami systemu były więc przede wszystkim osoby starsze, niepełnosprawne, z mniejszości etnicznych. Zamiast wsparcia otrzymywały one porcję uprzedzeń, niesłusznych podejrzeń i głód.
Podobne historie można mnożyć. Opisywali je dziennikarze i nagłaśniali aktywiści w Danii, Stanach Zjednoczonych, Sudanie czy Serbii. A ostatnio w Brazylii, gdzie oparta na sztucznej inteligencji aplikacja do ubezpieczeń społecznych niesłusznie odrzucała wnioski. Narzędzie miało ograniczyć biurokrację, ale prawdziwą cenę zapłacili za to najbiedniejsi obywatele.
Polska pod tym względem jest wielką niewiadomą. Nie wiemy, czy w ogóle i jeśli tak, to które instytucje publiczne, urzędy, rządowe agencje czy ministerstwa wykorzystują zautomatyzowane systemy podejmowania decyzji lub narzędzia oparte na sztucznej inteligencji.
– Trudno jest określić skalę. Naukowcy i aktywiści dowiadują się o nich zwykle od decydentów, gdy pochwalą się w mediach, że wdrożyli nowoczesne systemy, które usprawnią obsługę i przyniosą oszczędności. To poważny problem, że nie mamy publicznego wykazu takich systemów. Brakuje nam podstawowych informacji, by sprawdzić dobrze brzmiące deklaracje: które instytucje publiczne je stosują? W jakim celu? Pod jakim kątem system sprawdzono? I z jakim skutkiem? Jakich danych używa? Czy wdrożono jakieś zabezpieczenia, by uniknąć czarnych scenariuszy? – mówi dr Karolina Sztandar-Sztanderska.
A co mogą przynieść, pokazał przypadek polskiego systemu do profilowania bezrobotnych, który wdrożyło w 2014 roku ówczesne Ministerstwo Pracy i Polityki Społecznej. Miał on służyć do wczesnego wykrywania i wspierania osób zagrożonych długotrwałym bezrobociem.
– Pomysł świetny, bo powinniśmy docierać z pomocą do osób, które mogą stać się długotrwale bezrobotne, zanim do tego dojdzie, bo wtedy jeszcze trudniej jest im znaleźć pracę. W teorii więc osoby najbardziej zagrożone długotrwałym bezrobociem miały być objęte największym wsparciem i dostępem do programów aktywizacji zawodowej. W praktyce jednak wyglądało to zupełnie inaczej – mówi dr Karolina Sztandar-Sztanderska, która wraz zespołem przeanalizowała, jak zbudowany był ministerialny system i jak był faktycznie używany.
Mechanizm systemu przydzielał bezrobotnych do trzech kategorii (tzw. profili), które miały według deklaracji resortu (które później okazały się tylko deklaracjami) pokazywać ich stopień gotowości podjęcia pracy i rodzaj pomocy, jaką otrzymują z urzędu pracy.
Problem w tym, że tego rodzaju "profilowanie bezrobotnych" budziło szereg wątpliwości. Sprawę już na etapie prac legislacyjnych nagłaśniała Fundacja Panoptykon, której eksperci zwrócili uwagę na potencjalne zagrożenia opisane w raporcie "Profiling the unemployed in Poland". Pierwszym problemem był brak przejrzystości, bo dokładne kryteria ustalania profilu były znane tylko twórcom algorytmu. Po drugie, profilowanie ogółem bazuje na założeniu, że maszyna wie lepiej od człowieka i podejmuje obiektywną decyzję. Jednak system kategoryzowania ludzi oparty jest na uproszczeniach, które nie uwzględniają wielu złożonych sytuacji życiowych.
I choć twórcy systemu zarzekali się, że system ma "jedynie pomagać" urzędnikom podejmować decyzję, to badanie Panoptykonu pokazało, że urzędnicy decydowali się na zmianę wygenerowanego przez system profilu jedynie w przypadku 0,5 proc. bezrobotnych. Po trzecie, profilowanie było skonstruowane w wadliwy sposób, bo bezrobotny nie miał możliwości odwołania się od ustalonego profilu pomocy. Mimo ich ostrzeżeń przepisy weszły w życie. A kiedy system zaczął podejmować niezrozumiałe i niesprawiedliwe decyzje, Trybunał Konstytucyjny w 2018 roku uznał go za niezgodny z polskim prawem ze względu na niezgodność dotyczącą przetwarzania danych.
I choć miało być sprawnie, tanio i nowocześnie, to znów odbiło się na najsłabszych grupach obywateli, którym na własną rękę trudno walczyć o sprawiedliwość. Dlatego kluczowe jest, abyśmy wiedzieli, jakie instytucje i w jaki sposób korzystają z narzędzi zautomatyzowanego podejmowania decyzji lub opartych na sztucznej inteligencji. Szczególnie że zagrożeń jest więcej.
Zwraca na to uwagę Mateusz Tomasz Wrotny, którzy wcześniej przywołał przykład Zakładu Ubezpieczeń Społecznych.
– Choć ZUS podkreśla, że jego narzędzia dają jedynie rekomendacje urzędnikom i wspiera ich w podejmowaniu decyzji, to kontrola człowieka może być pozorna. Nie wiemy, jak wygląda reakcja urzędnika na rekomendację o wszczęciu kontroli. Nie wiemy, czy ma obowiązek powtórnie sprawdzić, czy algorytm się nie pomylił. Chciałbym wierzyć, że urzędnik poświęca masę czasu i dokładnie sprawdza dane i dokumentację, na podstawie których algorytm wskazał wszczęcie kontroli. Wiem jednak, że urzędnicy są przeciążeni, jest ich za mało, bywa, że nie są odpowiednio przeszkoleni. Łatwo wyobrazić sobie sytuację, w której urzędnicy tylko akceptują to, co wypluje system, a ma to przecież ogromny wpływ na ludzi, którzy potem muszą udowadniać, że nie doszło do nadużycia – mówi Mateusz Tomasz Wrotny.
Mateusz Tomasz Wrotny zauważa też, że brak transparentności działania systemu ostatecznie działa na jego szkodę. Wyjaśnia, że osoby, które wskazał system, będą zastanawiać się, dlaczego wskazał akurat ich, i nie znajdą odpowiedzi. Prawdopodobnie ZUS nie udostępnia nawet samej informacji o wyniku algorytmu, co może dodatkowo budzić domysły u kontrolowanych.
– To może rodzić poczucie frustracji, niesprawiedliwości społecznej, ale też budować nieufność do systemu, algorytmów i instytucji, które z nich korzystają – ostrzega Matusz Tomasz Wrotny.
Dlatego podkreśla, że wykorzystanie zautomatyzowanych systemów podejmowania decyzji w polityce społecznej powinno uwzględniać perspektywę ludzi, a potrzeby i prawa człowieka stawiać w centrum.
– Pewnym minimum jest sprawdzanie, jakie skutki będzie miało wdrożenie nowego systemu dla obywateli, bo już na tym etapie można uniknąć wielu błędów. Kluczowa jest też transparentność, aby obywatel wiedział, w których instytucjach system działa, na podstawie jakich danych, w jaki sposób podejmuje decyzje i dlaczego akurat takie. Ważne jest także zagwarantowanie ścieżki odwoławczej po zakończonej kontroli – mówi Wrotny.
Zapytaliśmy ZUS, w jakich obszarach i w jakim zakresie stosuje zautomatyzowane systemy podejmowania decyzji oraz narzędzia oparte na sztucznej inteligencji, czy przed ich wdrożeniem opracowano standardy dopuszczalności ich do użytku, jaką rolę odgrywa człowiek (urzędnik) w podejmowaniu decyzji oraz jak narzędzia i ich rekomendacje są kontrolowane przez ludzi, a także jaką ścieżkę odwoławczą mają klienci ZUS (obywatele) od decyzji podjętych z udziałem systemów informatycznych. Jednak mimo upływu dwóch tygodni nie otrzymaliśmy na nie odpowiedzi.
Karolina Sztandar-Sztanderska podkreśla, że część systemów wykorzystywanych przez instytucje publiczne dokonuje analiz na podstawie danych na temat całej populacji. Tymczasem używa się ich do podejmowania decyzji dotyczącej określonej osoby, mimo że nie ma do tego wystarczających przesłanek.
– Na przykład to, że w populacji można było w przeszłości zaobserwować związki między cechami takimi jak płeć, wiek, miejsce zamieszkania a np. długotrwałym bezrobociem lub wykryciem nadużycia, nie mówi nam nic o tej konkretnej osobie tu i teraz. I nie oznacza też związku przyczynowo-skutkowego. Problematyczne jest też to, że instytucje publiczne w wielu krajach oddają decyzyjność systemom, choć często nie wiedzą, jak one działają. A w polityce społecznej chodzi o decyzje o ogromnym wpływie na życie ludzi: mogą doprowadzić do utraty zasiłku, oskarżenia o oszustwo. Decydując się na nietransparentne systemy, rezygnujemy z demokratycznych wartości: decyzje przestają być podejmowane w oparciu o znane i demokratycznie uchwalane prawo, nie mamy ścieżki odwoławczej – mówi dr Karolina Sztandar-Sztanderska, przestrzegając przed nadmiernym techentuzjazmem.
– Potrzebna nam daleko idąca ostrożność, szczególnie że badania pokazują, jak wdrożone już systemy wzmacniały nierówności i powielały uprzedzenia – dodaje.
Może do tego dochodzić, kiedy informatyczne systemy tworzone są bez kryteriów dopuszczalności ich do użytku. A te mogłyby stawiać wymogi, aby dane, na których trenowane są systemy, nie zawierały uprzedzeń. O te jednak bardzo łatwo, gdy tworzone narzędzia opierają się na źródłach, dokumentach, decyzjach z przeszłości, kiedy nieproporcjonalnie i częściej kontrolowano jakąś grupę, np. ubogie rodziny, bezrobotnych czy migrantów.
– Jeżeli takie uprzedzenia zostaną wpisane w system, będą replikowane na nieporównywalnie większą skalę, niż gdyby chodziło o uprzedzenia któregoś urzędnika. To rodzi ryzyko dyskryminacji i pogłębiania nierówności – mówi dr Karolina Sztandar-Sztanderska.
Zwraca na to uwagę również Marta Daćków, prawniczka związania z Uniwersytetem Wrocławskim.
"Automatyczne systemy decyzyjne, do których zaliczam algorytmy sztucznej inteligencji, decydując o prawach i obowiązkach człowieka, różnicują jednostki w sposób, który może prowadzić do dyskryminacji. Zakładam, że mogą one pogłębiać nierówności społeczne, zwłaszcza powodując na masową skalę wykluczenie grup historycznie marginalizowanych" – pisała w rozprawie doktorskiej Marta Daćków.
To, w jaki sposób technologiczne narzędzia mogą "automatyzować nierówności", doskonale pokazała też Virginia Eubanks, badaczka technologii w kontekście sprawiedliwości społecznej. W książce "Automating Inequality" przedstawiła, jak cyfrowe systemy wykorzystywane przez rządy mogą nadzorować, profilować, wykluczać i karać biednych. A jednocześnie jak technologia może – wbrew panującej narracji – pogłębiać nierówności, bo dane nie mogą zapewnić tego, czego potrzebują biedni ludzie, czyli większych zasobów.
Technologiczne narzędzia porównuje wręcz do "cyfrowego przytułku dla ubogich". Podobnie jak w tym z XIX wieku, ten nowy, błyszczący, cyfrowy przytułek pozwala nam "zarządzać biednymi, aby uniknąć naszej wspólnej odpowiedzialności za wykorzenienie ubóstwa".
W czasie wspomnianej już konferencji "Automating Welfare" celnie mówiła o tym austriacka badaczka Doris Allhutter. Zwróciła uwagę, że państwa poświęcają ogromne pieniądze na tworzenie systemów informatycznych oraz narzędzi typujących np. sprawców i ofiary przemocy domowej. A nie zajmują się tym, aby dofinansować system mieszkalnictwa, który pozwoliłby kobietom (bo to częściej są kobiety) wyprowadzić się z domu i uciec przed przemocowym partnerem.
Może gdyby było inaczej, filmowy Daniel Blake nie musiałby tuż po zawale serca wracać do pracy, by w niej umrzeć. Nie musiałby, bo dzięki pomocy państwa, a więc społeczeństwa, miałby za co żyć.
