Pomoc społeczna na łasce algorytmów [wywiad]

Dlaczego państwa tak chętnie próbują oddać system pomocy społecznej w ręce algorytmów? Zagadnienie tłumaczy kanadyjski socjolog i badacz wykorzystania algorytmów przez administrację publiczną dr Mike Zajko.

Przekaż 1,5% podatku Fundacji Panoptykon.
Pomóż kontrolować kontrolujących!
KRS: 0000327613

Jakub Dymek: Zajmuje się pan kwestią cyfrowego państwa dobrobytu i wykorzystywania algorytmów do nadzoru usług publicznych. Przyznam, że wszystko to nie brzmi specjalnie złowrogo. Może jednak za tymi hasłami kryje się więcej ryzyk, niż się domyślamy?

Mike Zajko*: Pojęcie cyfrowego państwa dobrobytu odnosi się do procesu zapoczątkowanego jeszcze w latach 90., w ramach którego do systemów zarządzania świadczeniami społecznymi, pomocą socjalną czy administracją usług publicznych wprowadza się coraz więcej automatycznych mechanizmów decyzyjnych. Z jednej więc strony chodzi o to, by odciążyć człowieka i uprościć biurokrację. Z drugiej zaś – by zmienić rolę ludzi w zarządzaniu świadczeniami, które trafiają do innych, a także naturę pracy w administracji publicznej.

Ryzyko jest takie, że zdejmując ciężar pewnych obowiązków z ludzkich barków, oderwiemy problemy i wyzwania polityki społecznej od kontroli człowieka i uniemożliwimy – niezbędne także w tej dziedzinie funkcjonowania państwa – zrozumienie potrzeb klienta. W konsekwencji narazimy masę niewinnych ludzi na potencjalnie niesprawiedliwe czy niepotrzebnie surowe decyzje podejmowane przez sterowany algorytmem automat.

Komu najbardziej zależało, żeby kwestie pomocy społecznej czy administracji usługami publicznymi zautomatyzować? Rządom i samorządom, które mogą chcieć oszczędzić; firmom, które na wdrażaniu podobnych technologii zarabiają; czy może samym odbiorcom świadczeń i usług…?

W dużej mierze bierze się to z nigdy niekończącej się pogoni za jeszcze większą efektywnością. Oczywiście konkretne motywacje mogą się różnić pomiędzy krajami Europy, Kanadą a USA, ale zbiorczo możemy powiedzieć, że chodzi o wymogi neoliberalizmu, czyli np. o jak najszybsze skrócenie kolejki spraw do rozpatrzenia albo obcięcie wydatków publicznych na urzędników. Impuls przyszedł ze strony rządów – sam model biznesowy dotyczący automatyzowania administracji wykształcił się później.

Image

Dr Mike Zajko, mat. prasowe Tygodnika Przegląd

Kiedy zaczęło się to na dobre?

O cyfryzacji pomocy społecznej pisano już w latach 90., ale zmiana była raczej stopniowa niż nagła. W gruncie rzeczy zaczęło się od przeniesienia do rzeczywistości cyfrowej procesów, które same w sobie były algorytmami – tylko że realizowanymi przez ludzi. Wszystkie te formularze, przetwarzanie informacji, nanoszenie ich na arkusze i wyciąganie z nich systemowych wniosków to także były algorytmy, ale wykonywane przez człowieka. Istnieją badacze, którzy wskazują, że państwo tak chętnie adaptuje się do nowych rozwiązań zmierzających do automatyzacji, bo samo jest czymś na kształt systemu przetwarzania informacji i wdrażania decyzji, czyli – jak powiedzieliby niektórzy – formą sztucznej inteligencji. Pokazywanie związków i analogii między algorytmami i funkcjonowaniem administracji publicznej jest dziś szczególnie zasadne.

Dlaczego?

Bo urzędy czy organy administracji publicznej coraz mocniej wdrażają systemy cyfrowe oparte na algorytmach, a dzięki temu my coraz wyraźniej widzimy, że działanie aparatu państwa było algorytmiczne na długo przed naszą cyfrową teraźniejszością. Wejście algorytmów cyfrowych zaczęło się od arkuszy w Excelu. Potem nastąpiła dalsza automatyzacja procesów, która zaczęła przypominać coś na kształt AI, zaś ostatnia dekada (a właściwie ostatnie pięć lat) to wdrożenie systemów opartych na uczeniu się maszynowym, czyli właściwej sztucznej inteligencji – tak jak rozumiemy ją dzisiaj.

„Właściwej”, czyli jakiej?

Fachowo mówi się o zautomatyzowanych systemach decyzyjnych (automated decision-making systems, ADM) w dziedzinie administracji publicznej. I rzeczywiście jest to bardziej odpowiedni termin. Powinniśmy przestać kojarzyć AI z jakimiś myślącymi maszynami czy robotami wyposażonymi w mózgi i dysponującymi „inteligencją”. Powinniśmy unikać ekscytacji sztuczną inteligencją w administracji publicznej, bo ten termin utrudnia nam zadawanie właściwych pytań. Choćby dotyczących relacji między zautomatyzowanymi systemami, decyzjami ludzi (urzędników publicznych) i aparatem biurokracji. Prawdziwie autonomiczny system podejmowałby decyzje na temat jednostek na podstawie szerokiego zbioru danych. Decyzje te miałyby moc wiążącą i były powszechnie uznawane. Tak jeszcze nie jest.

Jednak te systemy są „inteligentne”. To nie jest prosta automatyzacja, gdzie kod komputerowy przejmuje pewne rutynowe czynności zamiast człowieka w co najmniej jeden istotny sposób. W zastosowaniu ADM w cyfrowym państwie dobrobytu chodzi nie tylko o to, by algorytm sprawdził, czy człowiek właściwie wypełnił wniosek. Algorytm jest trenowany na wielkich zasobach danych w procesie uczenia maszynowego, aby być zdolny rozpoznawać prawidłowości i odpowiednio je klasyfikować w kolejnych zbiorach danych. Dzięki temu narzędzia są bardziej sprawne, ale i nieprzejrzyste – patrząc z zewnątrz, nie jest do końca jasne, w jaki sposób dochodzą do podejmowanych decyzji.

Ale o jakim stopniu skomplikowania tak naprawdę mówimy? Jestem w stanie wyobrazić sobie zarówno bardzo banalne, jak i bardzo wyrafinowane zastosowania podobnych narzędzi.

Przykładowo tropienie wyłudzania zasiłków. Gdy używa się takiego sformułowania, natychmiast pojawia się podejrzenie, że chodzi o masowe zjawisko i działalność kryminalną. W rzeczywistości „wyłudzanie” może być wynikiem zmieniających się przepisów, błędów w danych czy zmieniających się kryteriów. Ale to jest ciekawe nawet na tym poziomie. Zauważmy: już u podstaw leży założenie, że ludzi pobierających zasiłki z całą pewnością jest za dużo i że na pewno mamy do czynienia z nadużywaniem systemu.

W tym kontekście wyzwaniem pozostaje tylko to, jak wyeliminować nadużycie. Algorytmy przygotowane do przesiewania i porównywania dużych zasobów danych i weryfikowania odrębnych baz danych mogą być w tym pomocne. Spójrzmy na Holandię, gdzie m.in. na podstawie pomiarów zużycia wody i liczby osób zameldowanych pod konkretnym adresem szukano „czerwonych flag” – czyli potencjalnie podejrzanych zachowań do sprawdzenia. Najczęściej system nie działa w pełni automatycznie, tylko referuje oflagowany adres do człowieka.

Czyli decyzja, co z tym dalej zrobić, nadal leży po stronie urzędnika?

Tak, bo mówimy w rzeczywistości o dwóch rzeczach, które można zautomatyzować: o mechanizmie coraz bardziej autonomicznego wyszukiwania i łączenia różnych zbiorów danych oraz o samym mechanizmie decyzji administracyjnych. Na razie wygodniej jest zrobić to pierwsze. Nie oznacza to jednak, że decyzja człowieka nie jest w pewnym wymiarze podyktowana przez działanie algorytmu – przecież sam zasób „podejrzanych spraw” i ścieżka prowadząca do odnajdywania „czerwonych flag” zostały już delegowane na algorytm.

W Holandii doprowadziło to do słynnej afery zasiłkowej, w której główną rolę odegrał system SyRi. Przez kilka lat tysiącom rodzin kazano zwracać zasiłki społeczne, które rzekomo wyłudzili. W 2019 r. ujawniono, że w rzeczywistości za decyzjami stoi nieznany wcześniej publicznie algorytm. System ten, posługując się uczeniem maszynowym właśnie (m.in wspomnianymi danymi o zużyciu wody), wyszukiwał „podejrzanych”. Holenderski Urząd Podatkowy, który zarządzał całym procesem, robił to dodatkowo w sposób nieprzejrzysty, a logika podejmowania decyzji była sprzeczna – jak wskazywały różne urzędy – z prawem i ogólnie przyjętymi w Holandii standardami. Pojawiły się kary i oskarżenia o łamanie prawa do prywatności. Ostatecznie wskutek skandalu rząd Marka Ruttego podał się w 2021 r. do dymisji [później ponownie wygrał wybory – przyp. JD].

Image

„Pocztowcy zgłaszali błędy, ale poczta utrzymywała, że z systemem wszystko jest w porządku, domagając się zwrotu brakujących kwot z kieszeni tych ludzi. To trwało latami”.

Czy to jedyna podobna historia?

Nie. W Wielkiej Brytanii miał miejsce tzw. skandal Horizon, który korzeniami sięga jeszcze lat 90. Chodzi o system, który miał nadzorować funkcjonowanie placówek pocztowych, prowadzonych przez jednoosobowe działalności gospodarcze na podstawie kontraktu z brytyjską pocztą. System Horizon wyprodukowany przez firmę Fujitsu miał prowadzić księgowość i inwentarz małych placówek pocztowych. W wyniku błędów zaczął pokazywać braki w kasie albo zaopatrzeniu. Pocztowcy zgłaszali błędy, ale poczta utrzymywała, że z systemem wszystko jest w porządku, domagając się zwrotu brakujących kwot z kieszeni tych ludzi. To trwało latami. Reklamacje i odwołania były ignorowane, w wielu przypadkach sprawy trafiały do sądu, ludzi skazywano na więzienie, tracili oszczędności, niektórzy odebrali sobie życie. Ostatecznie rząd i zarząd poczty musieli przyznać się do błędu, a kwoty przeznaczone na odszkodowania i zadośćuczynienia idą w setki milionów funtów.

W Australii podobny skandal dotyczył automatycznego naliczania należności i długów od obywateli, który od samego początku działania w 2016 r. budził wątpliwości. System funkcjonował zaledwie kilka lat, już w 2020 r. rząd obiecał się z niego wycofać, a wadliwie naliczone długi umorzono już w pół miliona przypadków. Coś podobnego przetestowano w stanie Michigan w USA – z podobnym skutkiem. Wszystkie te systemy wcale nie musiały być bardzo skomplikowane, żeby dochodziło do błędów. Przeciwnie – wystarczyło, że kwoty, na podstawie których system dokonywał obliczeń, były nieprawidłowe. Na tych przykładach widać, że rozwiązania, które miały przynieść oszczędności i zwiększyć efektywność działania, doprowadziły ostatecznie do konieczności wypłaty przez rząd wielkich odszkodowań i ponoszenia znacznie większych kosztów.

Ktoś jednak powie, że o ile proste systemy skazane są na głupie błędy, to wejście tych algorytmów na wyższy poziom zaawansowanie pozwoli je wyeliminować. I że to kwestia techniczna – bardziej precyzyjne i operujące na wielkim poziomie szczegółowości narzędzia nie będą powielać tak banalnych pomyłek.

Myślę, że bardziej skomplikowane systemy, właśnie przez stopień zaawansowania, wprowadzają nowe punkty węzłowe, gdzie więcej spraw może pójść nie tak. Jedną ze znanych prawidłowości związanych z AI jest to, że im bardziej efektywna jest sztuczna inteligencja i uczenie maszynowe, tym mniej przejrzyste i trudniejsze do wytłumaczenia jest ich działanie. A to jeden z podstawowych wymogów systemów, które używane są w administracji publicznej. Tym bardziej w obszarach państwa, które dotyczą równego traktowania czy wymiaru sprawiedliwości.

Jeśli państwo podejmuje decyzję, że komuś należą się, albo nie należą się jakieś świadczenia – powinno móc bardzo precyzyjnie wykazać, jak doszło do takiej decyzji i jak ona jest umotywowana. To nie będzie możliwe w przypadku, gdy za proces podejmowania decyzji będzie odpowiadał zaawansowany algorytm filtrujący dane i wyłapujący prawidłowości niewidoczne gołym okiem ani dla przeciętnego człowieka, ani dla doświadczonego urzędnika. Żeby ten system był zrozumiały, należałoby go jakoś uprościć. Ale nawet uproszczony – pozostanie czarną skrzynką. To znaczy, że choć byśmy wiedzieli w zarysach, co i jak działa, to mechanizmy pozostaną ukryte i niemożliwe do rozgryzienia.

A gdyby rządy ujawniały więcej informacji o funkcjonowaniu tych systemów?

Główny problem z tym postulatem polega na tym, że udostępniane informacje i tak nie pozwolą się rozeznać w działaniu konkretnych narzędzi i zrozumieć, jaka relacja człowiek–maszyna naprawdę zachodzi. Rządowe agencje twierdzą też, że w ich ocenie żadne decyzje nie są podejmowane przez ADM-y faktycznie automatycznie, a ostatecznie decyduje o wszystkim człowiek. Jednak zgadzam się co do tego, że sama wiedza o wykorzystywaniu podobnych systemów może być pomocna. Dotychczas dogadywaliśmy się o wielu przykładach po fakcie. Tak było w Kanadzie w przypadku używania ADM-ów do zarządzania migracją.

Superwydajna, nieomylna, pozbawiona ludzkich uprzedzeń – świat oszalał na punkcie sztucznej inteligencji. Więcej w tekście „Maszynowe uprzedzenia”.

Na czym to polegało?

W Kanadzie była długa kolejka nierozpatrzonych wniosków wizowych i deficyt urzędników zdolnych procesować na czas kolejne wnioski. Wprowadzono więc automatyczny system, na początku ograniczony m.in. do Indii i Chin, skąd spływało bardzo dużo wniosków. System filtrował je, z jednej strony dając zielone światło obiecującym kandydatom, a z drugiej – szukając schematów, które pozwoliłyby wskazać ewentualne oszustwa. Założenie było takie, że system nie będzie odrzucał wniosków sam z siebie – to zawsze miał robić człowiek. W teorii nie mogło się zdarzyć, że komuś odmawia się prawa wjazdu do Kanady na podstawie decyzji automatu. Urzędnicy dostawali tylko pewne komunikaty, które miały ich przygotować do podjęcia decyzji.

W urzędzie działał jednak także system nazwany Chinook, który pozwalał udzielać odpowiedzi na zasadzie „kopiuj–wklej”. Na tej zasadzie formułowano listy zawierające odmowę przyznania wizy. Ich treść nie pozwala już mówić o tym, że dochodziło wnikliwej i samodzielnej oceny przypadków przez urzędników, którzy w teorii mieli rozpatrywać te sprawy indywidualnie. Prawnicy reprezentujący migrantów odkryli, że fakty w listach przestały pasować do konkretnych osób i ich sytuacji. Organizacje pozarządowe czasami wyciągały taką sprawę na jaw po latach… Jest to jeden z tych obszarów działania algorytmów, którym społeczeństwo niespecjalnie się interesuje. Znaczna część procesu automatyzacji dokonuje się za kurtyną niewiedzy.

Bo dotyczy osób biedniejszych i ludzi z dala od szczytów społecznej drabiny?

Systemy nadzoru zazwyczaj służą najbogatszym. Są wymierzone przeciwko grupom słabszym – biedniejszym, marginalizowanym, migrantom – poddanym już różnym reżimom kontroli społecznej. Dzieje się tak nawet w przypadku systemów wykrywania oszustw podatkowych czy unikania opodatkowania, które teoretycznie powinny uderzać w najbogatszych. Automatyzacja czy wprowadzenie algorytmów nie sprawi, że dochodzenie zaległości podatkowych od wielkich korporacji czy bogaczy, których stać na doskonałych prawników, będzie dla administracji państwowej tańsze. Osoby decyzyjne w organach skarbowych mogą chcieć od tego odstąpić, bo mają świadomość, że najzamożniejsi będą się długo i skutecznie bronić – a zamiast tego rodzi się pokusa, żeby używać tych systemów wobec ludzi, którzy takiej możliwości nie mają.

Czyli koniec końców w cyfrowym państwie dobrobytu zawsze pojawia się konflikt wartości – choćby między efektywnością a zasadami demokratycznymi?

Myślę, że widzimy napięcie między technokracją (imperatywem efektywności i cięcia kosztów) a demokracją z jej imperatywami praw człowieka. Rozumianymi także jako prawo do prywatności i kontroli nad decyzjami, które nas dotyczą. I widzę, że te tendencje ciążą w przeciwstawnych kierunkach.

*Mike Zajko – assistant professor (adiunkt) na wydziale Historii i Socjologii University of British Columbia w Kanadzie. Zajmuje się badaniem wpływu technologii na rządzenie, w szczególności AI i algorytmów. Na łamach pisma „Surveillance & Society” ukazał się niedawno jego artykuł poświęcony wykorzystaniu algorytmów do śledzenia odbiorców pomocy społecznej: Automated Government Benefits and Welfare Surveillance.