Ryzykowne algorytmy do typowania nadużyć. CNAF a polskie realia

Francuska Narodowa Kasa Świadczeń Rodzinnych używa algorytmu wykorzystującego dyskryminujące kryteria do typowania do kontroli osób, które mogą nadużywać prawa do świadczeń społecznych.

Organizacja La Quadrature du Net, wspierana przez Panoptykon i inne organizacje pozarządowe, domaga się zaprzestania używania algorytmu. Jakie z tego przykładu płyną wnioski dla polskiej administracji?

Zasiłki pod kontrolą algorytmów

Francuska Narodowa Kasa Świadczeń Rodzinnych (Caisse Nationale d’Allocations Familiales, CNAF) wypłaca świadczenia – takie jak polskie 800+ – osobom wychowującym dzieci, m.in. samotnym matkom czy osobom opiekującym się dziećmi z niepełnosprawnością. Od 2010 r. CNAF korzysta z niejawnego algorytmu oceny ryzyka do typowania osób podejrzanych o nadużywanie prawa do tych świadczeń.

Algorytm działa w oparciu o kilkadziesiąt zmiennych. Ujawnione wcześniejsze (już nieużywane) wersje algorytmu bazowały m.in. na danych dotyczących wieku, płci czy niepełnosprawności.

Według badania opublikowanego w 2016 r. przez francuskich akademików (przeprowadzonego na podstawie danych CNAF i przy współpracy tej instytucji) wskazania algorytmu częściej kierowały do kontroli osoby o niższym statusie ekonomicznym, czyli biedniejsze. Z analizy samego algorytmu wiemy też, że dyskryminująco traktowane były osoby z niepełnosprawnością i prowadzące samodzielnie gospodarstwa domowe (95% takich gospodarstw prowadzą kobiety). Miały one większą szansę na kontrolę niż osoby pełnosprawne i prowadzące gospodarstwa domowe we dwie osoby.

Czego domaga się La Quadrature du Net

La Quadrature du Net (LQdN) bezskutecznie domaga się od CNAF ujawnienia aktualnej wersji algorytmu oraz kategorii danych, na podstawie których działa system typowania świadczeń do kontroli. Aktywiści argumentują, że skoro poprzednie – ujawnione – wersje algorytmu działały dyskryminująco, CNAF powinien przedstawić dowody na to, że w obecnie używanej wersji tak nie jest. LQdN w lipcu 2024 r. zaapelowała do CNAF o zaprzestanie korzystania z algorytmu i usunięcie wszystkich zebranych danych. Nie doczekała się odpowiedzi, dlatego wraz z 14 innymi organizacjami złożyła skargę do sądu administracyjnego, domagając się zaprzestania stosowania algorytmu.

Fundacja Panoptykon dołączyła do sprawy, składając opinię przyjaciela sądu (amicus curiae). Wraz z LQDN zawnioskowaliśmy, żeby sąd zwrócił się z prośbą o interpretację (zadał tzw. pytania prejudycjalne) do Trybunału Sprawiedliwości Unii Europejskiej.

Chodzi o to, żeby TSUE stwierdził:

1. czy dochodzi do naruszenia przepisów chroniących osoby przed automatycznym podejmowaniem decyzji (profilowaniem) – naszym zdaniem decyzja podjęta na podstawie wskazania narzędzia to decyzja automatyczna, nawet jeśli na koniec podpisuje się pod nią człowiek (który przecież nie sprzeciwi się temu, co wskaże komputer);
2. czy zakres przetwarzanych danych jest proporcjonalny – jeśli nie jest (a uważamy, że nie, bo ten sam cel dałoby się osiągnąć, przetwarzając mniej danych), w konsekwencji dochodzi do naruszenia prawa do prywatności osób poddanych decyzji algorytmu;
3. czy mamy do czynienia z dyskryminacją – analiza poprzednich wersji algorytmu każe tak podejrzewać, skoro pod uwagę brane były takie cechy jak niepełnosprawność.

Automatyzacja w ZUS – dlaczego ta sprawa jest ważna dla Polski 

Polski Zakład Ubezpieczeń Społecznych też korzysta z automatyzacji. Wiemy, że algorytmy wspierają przetwarzanie wniosków o świadczenie wychowawcze (800+), a przedstawiciele ZUS chwalą się w mediach, że Zakład korzysta z AI do typowania „lewych” zwolnień lekarskich.

W Panoptykonie próbowaliśmy ustalić, co to znaczy. Dostaliśmy kilka tysięcy stron dokumentacji technicznej. Dowiedzieliśmy się, że „narzędzie analityczne” – jak specjaliści z ZUS nazywają AI, o którym dyrektorzy instytucji mówią w mediach – trenowane było na danych historycznych (a konkretnie na danych zgromadzonych w Kompleksowym Systemie Informatycznym ZUS, dotyczących wyników przeprowadzonych kontroli w okresie od 1.01.2018 r. do 30.06.2022 r.). Do treningu użyto wszystkich zaświadczeń lekarskich objętych kontrolą w tym okresie oraz wyników przeprowadzonych kontroli.

Problem? Algorytm wytrenowany na historycznych danych będzie powielał historyczne uprzedzenia. W uproszczeniu: jeśli w latach 2018–2022 urzędnicy, którzy „ręcznie” typowali zwolnienia do weryfikacji, szczególnie często kierowali do kontroli zwolnienia np. kobiet w ciąży, to algorytm wytrenowany na tych danych będzie na tę kategorię szczególnie czuły. Jeśli możemy się czegoś nauczyć z francuskiej sprawy, niech będzie to ostrzeżenie, że automatyzacja niesie za sobą ryzyko dyskryminacji.

Wesprzyj Fundację Panoptykon i przekaż 1,5% podatku (KRS: 0000327613)