To ludzie algorytmom zgotowali ten los. Algorytmy są zdolne do działań dyskryminacyjnych

Co powoduje, że niektóre aplikacje służące dobrej sprawie, ujawniają swoją mroczną stronę?

Odpowiedzi może być kilka. Jedna z pierwszych, jaka przychodzi nam do głowy, dotyczy natury ludzkiej. Chodzi o znany mechanizm, zgodnie z którym ludzie posługują się w życiu masą stereotypów i uprzedzeń. Mogą one dotyczyć innych jednostek, grup społecznych, czy świata wartości. Wytwarzane przez ludzi schematy poznawcze łączą się doskonale z brakiem wyobraźni i niechęcią do rzetelnych analiz. Powstaje więc wybuchowa mieszanka, które generuje negatywne sytuacje.

Ktoś, kto ślepo ufa danym z komputera, nie dostrzega złożoności sytuacji, gorliwie eliminuje subiektywną ocenę zdarzenia. I wtedy zaczyna się „akcja”. Akcja, czyli duży problem dla stron zaangażowanych w zdarzenie.

Policja nadaje się idealnie do testowania inteligentnych technologii. O tym, że pożyteczny algorytm może jednak czasem tworzyć problemy, przedstawiciele branży doskonale wiedzą. Ale bądźmy sprawiedliwi. Dzięki inteligentnemu przetwarzaniu danych, policyjne komputery potrafią skutecznie łączyć przestępstwa, dane historyczne i okoliczności zdarzeń w kategorie i zbiory. Bezdyskusyjna jest użyteczność aplikacji, które potrafią odkrywać relacje między miejscami, osobami, profilami psychologicznymi, momentem popełnienia przestępstwa i narzędziami zbrodni.

Kryminolodzy i naukowcy zajmujący się przetwarzaniem danych z University of Memphis sięgnęli po software wyprodukowany przez koncern IBM. Oprogramowanie było przeznaczone do analiz o charakterze predykcyjnym. Team zaangażowany w projekt, stworzył mechanizm analityczny uwzględniający takie zmienne jak: temperatura powietrza, mapy otoczenia, skupiska ludzi, rozkład sklepów, restauracji, preferencje mieszkańców i dotychczasowe aktywności o charakterze przestępczym. Algorytmy, które zostały zaangażowane, miały wykorzystywać wymienione zmienne do identyfikowania potencjalnych ognisk zapalnych w mieście. I faktycznie zadziałało.

Podczas testów tego systemu okazało się, że faktycznie z pewnym prawdopodobieństwem można przewidywać przyszłość (jakim: tu nie podano szczegółów), ale na tyle wysokim, że patrole policji zostały przekierowane do tych potencjalnie „zagrożonych” miejsc. W innym komentarzu czytamy, że dzięki temu czas reakcji policji liczony od zgłoszenia zdarzenia do pierwszej reakcji skrócono 3 razy.

Wyobrażam sobie, że już sama obecność policji w tych miejscach zmniejsza występowanie zdarzeń o charakterze przestępczym. Przykład ten może być wręcz trudno zrozumiały dla laika. Dowodzi on, że nowoczesna technologia staje się prawdziwą innowacyjną „petardą”, która może przynieść doskonałe efekty.

Wdrażany na terenie Stanów Zjednoczonych program Hunchlab stworzony przez startup Azavea poddaje analizie olbrzymie ilości i rodzaje danych (łącznie z fazami księżyca), by ułatwiać policji analizy dotyczące zdarzeń o charakterze przestępczym. Podobnie jak w poprzednim przypadku, chodzi o stworzenie mapy miejsc, w których prawdopodobieństwo popełnienia przestępstwa rośnie.

Program kładzie akcent między innymi na położenie w mieście takich miejsc, jak bary, szkoły i przystanki. Efekty działania programu okazały się pozytywne. Czasem były to analizy oczywiste, ale nierzadko jednak zaskakiwały. Mniejsze nasilenie działań przestępczych w zimne dni można sobie prosto wytłumaczyć. Ale wyjaśnienie, dlaczego w Filadelfii dochodziło do większej kradzieży samochodów zaparkowanych w pobliżu szkół mogło być już trudniejsze.

Czy policjant nieuzbrojony w taki software mógłby w ogóle wpaść na pomysł, by szukać sensu w relacji szkoła - kradzież samochodów? Do tej pory przyjrzeliśmy się kilku pozytywnym scenariuszom. Jednak trudno przejść do porządku dziennego nad faktem, że inteligentne maszyny nie dość, że się mylą, to dokonują błędnych interpretacji. Mają często poważne problemy z analizą kontekstów sytuacyjnych. Podobnie jak ludzie.

W 2016 r. niezależna organizacja skupiająca dziennikarzy śledczych ProPublica opisała w swoim tekście „Machine Bias”, skłonność amerykańskich sądów do wykorzystywania specjalistycznego software'u firmy Northpointe, odpowiedzialnego za analizy dotyczące przestępczości na terenie Stanów Zjednoczonych. Autorów interesowała między innymi kwestia szans na popełnienie kolejnych przestępstw przez osoby skazane już wcześniej.

W tekście opisano, że software wykorzystywany chętnie i masowo przez amerykańskich sędziów, generował analizy, zgodnie z którymi istniało 45 proc. szans na to, że wcześniej skazani czarnoskórzy obywatele wrócą do kryminalnej aktywności. W przypadku osób o białym kolorze skóry, prawdopodobieństwo powrotu do działalności przestępczej oceniane było już tylko na 24 proc.

Do tych ciekawych wniosków dochodziły algorytmicznie produkowane tezy, że tereny zamieszkane przez czarnoskórych są bardziej narażone na zachowania kryminogenne, w porównaniu do dzielnic kojarzonych z białymi mieszkańcami. Prawdy serwowane przez software zostały zakwestionowane, a algorytmy zakończyły Northpointe swoją analityczną karierę. Wszystko przez oparcie wnioskowania tylko o dane historyczne i brak świadomości lub raczej zaprojektowania algorytmów w taki sposób, żeby uwzględniały ostatnie zmiany demograficzne.

Ciekawa wydaje się teza Cathy O'Neil, która swoją książkę „Weapon of Math Destruction” wydaną w 2016 r., poświęciła wpływowi algorytmów na różne obszary naszego życia. Autorka twierdzi, że ludzie mają skłonność do obdarzania matematycznych wzorów zbyt wielkim zaufaniem. A uprzedzenia - jak twierdzi - mogą tworzyć się na różny sposób i na wielu poziomach.

Zwróciła też uwagę na to, że negatywne procesy mogą rodzić się wcześnie, jeszcze przed gromadzeniem danych, które potem posłużą algorytmom do analiz. Doświadczyli tego mechanizmu menedżerowie firmy Amazon. Zauważyli oni bowiem, że stosowane przez nich programy wspomagające rekrutacje, regularnie dyskryminowały kobiety. W wynikach obejmujących grupy dobrze rokujących pracowników, kobiet było zawsze o wiele mniej. Dlaczego? Znowu przez dane historyczne, gdzie więcej mężczyzn aplikowało na określone stanowiska. Zaburzało to parytety zatrudnienia kobiet vs mężczyzn i poniekąd preferowało mężczyzn, a finalnie błędnie kreowało politykę zatrudnienia.

Programy bazowały na pracy algorytmów, które były projektowane w okresie, kiedy istniała duża nierównowaga w zatrudnianiu obu płci. Nadreprezentacja mężczyzn była charakterystyczna dla określonego momentu w historii. Wytrenowane na historycznych danych algorytmy, posługiwały się „przekonaniem”, że świat się nie zmienia.

Działały więc w oparciu o złe założenia i uproszczenia (czarny kolor skóry, to większe prawdopodobieństwo przestępstwa, większy profesjonalizm to z kolei domena mężczyzn).

Nie będzie błędem przeczucie, że mechanizmy analogiczne do opisanych wyżej, mogą działać w wielu obszarach życia zawodowego i prywatnego. W ilu przypadkach, które nie są nam znane, organizowanie danych może opierać się na błędnych założeniach? W ilu sytuacjach algorytmy nie uwzględniają przemian ekonomicznych i kulturowych?

Black Box to termin, którego używa się, by wyrazić ludzką bezradność, wobec tego, co może dziać się w "mózgach" sztucznej inteligencji. Nasza niewiedza i coraz większa samodzielność algorytmów, które jak się okazuje, nie są alfą i omegą, generują niepokojącą mieszankę. Algorytmiczne uprzedzenia nie znikną za dotknięciem czarodziejskiej różdżki.

Kluczowe pytanie brzmi: czy istnieje szansa na to, by specjaliści projektujący algorytmy, które często samodzielnie projektują lub trenują kolejne algorytmy, uświadamiali sobie mocniej własną odpowiedzialność i fakt, że uprzedzenia algorytmów bywają prostym przedłużeniem ludzkich postaw i praktyk?

Head of Services CEE, Microsoft. Kieruje usługami Microsoft w 36 krajach, ich zakres obejmuje doradztwo biznesowe i konsulting technologiczny, w szczególności w takich obszarach jak big data i sztuczna inteligencja, aplikacje biznesowe, cybersecurity, usługi premium oraz cloud. Poprzednio jaklo Vice President Digital McKinsey odpowiedzialny za region CEE oraz usługi łączące doradztwo strategiczne i wdrażanie zaawansowanych rozwiązań informatycznych. Od kompleksowej transformacji cyfrowej przez szybkie wdrożenia aplikacji biznesowych, rozwiązania i analizy big data, biznesowe zastosowania sztucznej inteligencji po rozwiązania blockchain i IoT. Wcześniej Norbert pełnił funkcję Prezesa Zarządu i CEO Atos Polska, był również szefem ABC Data S.A. oraz Prezesem Zarządu i CEO Sygnity S.A. Poprzednio również pracował w firmie McKinsey jako partner, był dyrektorem działu usług doradczych, oraz rozwoju biznesu firmy Oracle.

Pasją Norberta są najnowsze technologie robotyzacja, zastosowania sztucznej inteligencji, blockchain, VR i AR, Internet Rzeczy, oraz ich wpływ na gospodarkę i społeczeństwo. Więcej na ten temat można przeczytać na blogu Norberta.