Czy potrzebujemy urzędu ds. algorytmów?

Korzystanie z systemów automatycznego podejmowania decyzji przez biznes czy instytucje publiczne może mieć różne konsekwencje, w tym również te negatywne, jak np. dyskryminacja. Z tymi problemami chce walczyć niemiecki minister sprawiedliwości, który proponuje stworzenie nowych przepisów regulujących stosowanie algorytmów.

Heiko Maas, kierujący resortem sprawiedliwości w rządzie Angeli Merkel, zapowiedział, że chce walczyć z dyskryminacją wynikającą ze stosowania algorytmów. Jego zdaniem istnieje potrzeba nowych przepisów prawnych, które zapobiegną tzw. automatycznej dyskryminacji oraz wymuszą na firmach i instytucjach większą przejrzystość w stosowaniu algorytmów. Dodatkowo minister chce powołać specjalną rządową agencję, która będzie badała, jak algorytmy funkcjonują w rzeczywistości, a nawet nakładała kary za naruszenia przepisów.

Czy jest się czego bać?

Głos ministra Maasa nie jest odosobniony. W debacie publicznej i mediach pojawiają się doniesienia o tym, jak stosowanie konkretnych technologii automatycznych prowadzi do naruszeń praw obywatelskich. Klasycznym wręcz tego przykładem jest wykorzystywany przez amerykański wymiar sprawiedliwości system szacowania ryzyka powrotności do przestępstw. W wielkim uproszczeniu: osoby aresztowane muszą odpowiedzieć na szereg bardzo szczegółowych pytań dotyczących ich życia, rodziny, wykształcenia, przyjaciół. Każdej odpowiedzi przydzielane są odpowiednie punkty. Specjalnie przygotowany model matematyczny szacuje, jakie ryzyko stanowi dana osoba. Ta ocena jest przedstawiana w sądzie i może wpływać na decyzję o dalszym areszcie (na czas procesu), a w niektórych stanach nawet na wymiar kary. Śledztwo przeprowadzone przez portal ProPublica wykazało, że cały model opiera się na wielu błędnych założeniach i powiela rasistowskie stereotypy. Dziennikarze udowodnili, że osoby czarnoskóre były gorzej oceniane niż biali, pomimo że np. popełnili takie same przestępstwa, a wcześniej nie byli karani. Kluczowe znaczenie miały w tym wypadku inne czynniki – np. skazania wśród członków rodziny, uzależnienie od narkotyków wśród znajomych, mieszkanie w gorszej dzielnicy.

Broń matematycznego rażenia

Oskarżenia o dyskryminację padły również wobec jednego z brytyjskich uniwersytetów medycznych. Próbując radzić sobie z procesem rekrutacji, uczelnia zdecydowała się na wdrożenie automatycznego systemu ocen kandydatów. Nowe rozwiązanie miało być szybsze oraz bardziej obiektywne. Niestety, jak się okazało po czasie, system dyskryminował kobiety oraz osoby z Indii czy Pakistanu. Autorzy systemu zdecydowali się skorzystać z danych historycznych dotyczących rekrutacji. Problem polegał jednak na tym, że w tych dawnych decyzjach aż mnożyło się od uprzedzeń: np. kobietom przypisywano gorsze predyspozycje do wykonywania zawodu lekarza.

Negatywne konsekwencje stosowania algorytmów nie muszą sprowadzać się tylko do dyskryminacji. Problem przejrzystości był aż nadto widoczny w szeroko przez nas opisywanym przypadku profilowania osób bezrobotnych. Oto automatyczny system miał decydować, o jaką pomoc z urzędu pracy osoby bez zatrudnienia mogą się ubiegać. Kryteria takich decyzji były niejasne, a możliwości odwołania – prawie żadne. Amerykańska matematyczka i blogerka Cathy O’Neil nazywa takie systemy bronią matematycznego rażenia (ang. weapons of math destruction). Opisując różne algorytmy – w zatrudnieniu, bankach, na uczelniach – O’Neil pokazuje, że rządzą one wieloma obszarami dzisiejszego świata. Jednak zamiast przynosić więcej obiektywizmu bardzo często są po prostu groźne i niesprawiedliwe.

Nowe urzędy

Jak przeciwstawić się i ewentualnie zapobiegać tym negatywnym skutkom stosowania różnych modeli matematycznych do automatycznego podejmowania decyzji? O’Neil mówi m.in. o nowych przepisach prawnych, sądowej walce o przejrzystość oraz odpowiedzialności samych twórców algorytmów. Ben Shneiderman, profesor z Uniwersytetu Maryland, proponuje powołanie specjalnego urzędu, który będzie regulował i „dopuszczał” algorytmy do powszechnego użytkowania. Shneiderman stosuje tutaj porównanie do nadzoru budowlanego czy instytucji odpowiedzialnych za wypadki komunikacyjne. Taka niezależna agencja ds. algorytmów jego zdaniem powinna mieć kompetencje do wydawania licencji dla algorytmów, monitoringu ich stosowania oraz przeprowadzania śledztwa, gdy istnieją podejrzenia, że algorytm może mieć negatywne konsekwencje.

Oczywiście ta propozycja wiąże się z wieloma trudnościami, jak chociażby samo zdefiniowanie pojęcia algorytm. Niemniej to właśnie nad tymi propozycjami już teraz zastanawiają się politycy w Niemczech czy USA. W tym miejscu warto przypomnieć, że europejska reforma ochrony danych osobowych wprowadza nowe rozwiązania dotyczące profilowania czy automatycznego podejmowania decyzji. Jednak krytycy tych przepisów uważają, że są one niewystarczające i w zasadzie pozostawiają obywateli bezbronnych, gdy zostaną ofiarami algorytmu. Wszystko więc wskazuje na to, że w niedalekiej przyszłości czekać nas będzie nowa dyskusja o tym, w jaki sposób minimalizować zagrożenia stosowania algorytmów i jaki te rozwiązania powinny mieć kształt.

Jędrzej Niklas

Więcej na ten temat:

Prezentacja B. Shneidermana [wideo]

Big Data: A Report on. Algorithmic Systems, Opportunity, and Civil Rights

Data and Discrimination: Collected Essays