Czy potrzebujemy urzędu ds. algorytmów?

Artykuł
Korytarz Big Data. CC0 Public domain via Pixabay

Korzystanie z systemów automatycznego podejmowania decyzji przez biznes czy instytucje publiczne może mieć różne konsekwencje, w tym również te negatywne, jak np. dyskryminacja. Z tymi problemami chce walczyć niemiecki minister sprawiedliwości, który proponuje stworzenie nowych przepisów regulujących stosowanie algorytmów.

Heiko Maas, kierujący resortem sprawiedliwości w rządzie Angeli Merkel, zapowiedział, że chce walczyć z dyskryminacją wynikającą ze stosowania algorytmów. Jego zdaniem istnieje potrzeba nowych przepisów prawnych, które zapobiegną tzw. automatycznej dyskryminacji oraz wymuszą na firmach i instytucjach większą przejrzystość w stosowaniu algorytmów. Dodatkowo minister chce powołać specjalną rządową agencję, która będzie badała, jak algorytmy funkcjonują w rzeczywistości, a nawet nakładała kary za naruszenia przepisów.

Czy jest się czego bać?

Głos ministra Maasa nie jest odosobniony. W debacie publicznej i mediach pojawiają się doniesienia o tym, jak stosowanie konkretnych technologii automatycznych prowadzi do naruszeń praw obywatelskich. Klasycznym wręcz tego przykładem jest wykorzystywany przez amerykański wymiar sprawiedliwości system szacowania ryzyka powrotności do przestępstw. W wielkim uproszczeniu: osoby aresztowane muszą odpowiedzieć na szereg bardzo szczegółowych pytań dotyczących ich życia, rodziny, wykształcenia, przyjaciół. Każdej odpowiedzi przydzielane są odpowiednie punkty. Specjalnie przygotowany model matematyczny szacuje, jakie ryzyko stanowi dana osoba. Ta ocena jest przedstawiana w sądzie i może wpływać na decyzję o dalszym areszcie (na czas procesu), a w niektórych stanach nawet na wymiar kary. Śledztwo przeprowadzone przez portal ProPublica wykazało, że cały model opiera się na wielu błędnych założeniach i powiela rasistowskie stereotypy. Dziennikarze udowodnili, że osoby czarnoskóre były gorzej oceniane niż biali, pomimo że np. popełnili takie same przestępstwa, a wcześniej nie byli karani. Kluczowe znaczenie miały w tym wypadku inne czynniki – np. skazania wśród członków rodziny, uzależnienie od narkotyków wśród znajomych, mieszkanie w gorszej dzielnicy.

Broń matematycznego rażenia

Oskarżenia o dyskryminację padły również wobec jednego z brytyjskich uniwersytetów medycznych. Próbując radzić sobie z procesem rekrutacji, uczelnia zdecydowała się na wdrożenie automatycznego systemu ocen kandydatów. Nowe rozwiązanie miało być szybsze oraz bardziej obiektywne. Niestety, jak się okazało po czasie, system dyskryminował kobiety oraz osoby z Indii czy Pakistanu. Autorzy systemu zdecydowali się skorzystać z danych historycznych dotyczących rekrutacji. Problem polegał jednak na tym, że w tych dawnych decyzjach aż mnożyło się od uprzedzeń: np. kobietom przypisywano gorsze predyspozycje do wykonywania zawodu lekarza.

Negatywne konsekwencje stosowania algorytmów nie muszą sprowadzać się tylko do dyskryminacji. Problem przejrzystości był aż nadto widoczny w szeroko przez nas opisywanym przypadku profilowania osób bezrobotnych. Oto automatyczny system miał decydować, o jaką pomoc z urzędu pracy osoby bez zatrudnienia mogą się ubiegać. Kryteria takich decyzji były niejasne, a możliwości odwołania – prawie żadne. Amerykańska matematyczka i blogerka Cathy O’Neil nazywa takie systemy bronią matematycznego rażenia (ang. weapons of math destruction). Opisując różne algorytmy – w zatrudnieniu, bankach, na uczelniach – O’Neil pokazuje, że rządzą one wieloma obszarami dzisiejszego świata. Jednak zamiast przynosić więcej obiektywizmu bardzo często są po prostu groźne i niesprawiedliwe.

Nowe urzędy

Jak przeciwstawić się i ewentualnie zapobiegać tym negatywnym skutkom stosowania różnych modeli matematycznych do automatycznego podejmowania decyzji? O’Neil mówi m.in. o nowych przepisach prawnych, sądowej walce o przejrzystość oraz odpowiedzialności samych twórców algorytmów. Ben Shneiderman, profesor z Uniwersytetu Maryland, proponuje powołanie specjalnego urzędu, który będzie regulował i „dopuszczał” algorytmy do powszechnego użytkowania. Shneiderman stosuje tutaj porównanie do nadzoru budowlanego czy instytucji odpowiedzialnych za wypadki komunikacyjne. Taka niezależna agencja ds. algorytmów jego zdaniem powinna mieć kompetencje do wydawania licencji dla algorytmów, monitoringu ich stosowania oraz przeprowadzania śledztwa, gdy istnieją podejrzenia, że algorytm może mieć negatywne konsekwencje.

Oczywiście ta propozycja wiąże się z wieloma trudnościami, jak chociażby samo zdefiniowanie pojęcia algorytm. Niemniej to właśnie nad tymi propozycjami już teraz zastanawiają się politycy w Niemczech czy USA. W tym miejscu warto przypomnieć, że europejska reforma ochrony danych osobowych wprowadza nowe rozwiązania dotyczące profilowania czy automatycznego podejmowania decyzji. Jednak krytycy tych przepisów uważają, że są one niewystarczające i w zasadzie pozostawiają obywateli bezbronnych, gdy zostaną ofiarami algorytmu. Wszystko więc wskazuje na to, że w niedalekiej przyszłości czekać nas będzie nowa dyskusja o tym, w jaki sposób minimalizować zagrożenia stosowania algorytmów i jaki te rozwiązania powinny mieć kształt.

Jędrzej Niklas

Więcej na ten temat:

Prezentacja B. Shneidermana [wideo]

Big Data: A Report on. Algorithmic Systems, Opportunity, and Civil Rights

Data and Discrimination: Collected Essays

Komentarze

Stworzenie specjalnego urzędu od algorytmów nie rozwiązuje wszystkiego. Wszystkie te algorytmy muszą być otwarte. Czyli każdy urząd który korzysta z algorytmów musi je dokładnie opisać w miarę prostym językiem na swojej stronie internetowej. Tylko wtedy będziemy mieli obronę przed dyskryminacją. Wtedy przydałby się jakiś urząd do którego można zgłosić dany algorytm jeśli zauważymy że jest on niesprawiedliwy. Musi też być dla nas jakaś możliwość weryfikacji. Musimy mieć pewność czy dany algorytm faktycznie działa tak jak urząd go opisał. Tylko wtedy będziemy mogli liczyć na sprawiedliwe traktowanie.

Z niektórymi algorytmami byłby problem. Np. gdyby ten algorytm "szacowania ryzyka powrotności do przestępstw" z USA o którym napisaliście był otwarty to wtedy przestępcy odpowiadając na pytania mogliby kłamać. Wtedy trzeba by było się zastanowić czy ta część z odpowiadaniem na pytania jest konieczna i jak bardzo można ufać jej wynikom.

W przypadku administracji publicznej jestem w stanie sobie wyobrazić wymuszenie otwartości algorytmó. Ale co z prywatnymi firmami: banki, ubezpieczyciele, telekomy itd. ? Oni przecież nigdy się nie zgodzą na ujawnienie swoich algorytmów bo od tego zależy ich biznes i przewaga nad konkurencją. Jeżeli nawet powstanie jakiś urząd który będzie kontrolował te prywatne algorytmy to i tak zwykły obywatel nie będzie miał nad tym żadnej kontroli ani możliwości weryfikacji. To będzie dokładnie tak jak ze służbami.

Z firmami prywatnymi chyba nic nie da się zrobić. Jest podobnie jak z oprogramowaniem. Powiedzmy np. że korzystarz z przeglądarki Google Chrome. Jest to zamknięte oprogramowanie Google. Nie mamy dostępu do kodu źródłowego tego programu więc nie wiemy co on tak na prawdę na naszych komputerach robi bo nie mamy jak tego sprawdzić. Są przeglądarki z otwartym kodem źródłowym np Firefox. Skoro kod źródłowy jest dostępny dla każdego to każdy może go przeczytać zrozumieć jak program działa i mieć pewność że go np. nie śledzi albo nie kopiuje plików z jego komputera. Jak ktoś nie jest programistą to może poprosić lub wynająć kogoś żeby zrobił to za niego. Nie możesz zmusić Google do wydania Ci ich kodu ale możesz wybrać inną przeglądarkę. Jeśli nie masz wglądu do algorytmu Twojego ubezpieczyciela to nie wiesz na pewno czy nie robi Cię w konia i nie będziesz wiedział. Może kiedyś niektóre firmy będą publikowały swoje algorytmy i dawały możliwość ich weryfikacji i będziemy mieli wybór tak jak z oprogramowaniem.

@nadzornik:

1. Google Chrome to JEST open-source: https://www.chromium.org/developers/how-tos/get-the-code

2. Opisywanie algorytmów „w miarę prostym językiem” może przynieść więcej szkód niż pożytku. Co z tego, że zwykły Kowalski będzie mógł mniej-więcej zrozumieć o co chodzi jeśli przy okazji damy firmom (i insytytucjom) pretekst do ukrywania faktycznego działania pod przykrywką „prostego języka”. Lepiej gdyby algorytmy musiały po prostu być otwarte (i jeśli np. używają algebry tensorowej to opisane w kategoriach algebry tensorowej a nie „takie coś z takim czymś bez takiego czegoś”), a na prosty język tłumaczyliby je specjaliści w prasie lub w ramach NGO'sów. Inna sprawa, że powinna być możliwość karania nie tylko za algorytmy, które „dyskryminują” ale również takie dla których „nie da się ocenić czy dyskryminują” (bo inaczej wszyscy rzucą się na głębokie konwolucyjne sieci neuronowe, czy coś podobnego, tylko po to aby ukryć prawdziwe działanie w „big-data”).

3. Nie można publicznie udostępniać testów psychologicznych (algorytmy profilowania bezrobotnych czy przestępców), bo jednym z założeniem współczesnej psychometrii (a do tego to się sprowadza) jest to, że osoba poddawana testowi nie zna testu (= nie będzie odpowiadała tak, żeby dostać jak najwięcej punktów). O ile nie macie do zaproponowania jakiejś innowacyjnej metody to dostęp do takich danych powinien być ograniczony właśnie z tego powodu. Oczywiście jest potrzeba społecznej kontroli, ale powinno to przebiegać raczej na takiej zasadzie, że przed dostępem trzeba podpisać lojalkę, że się nie ujawni treści i po uzyskaniu dostępu jest się wykluczanym z badania takim testem. Inaczej użycie takich narzędzi zupełnie mija się z celem. Oczywiście druga skrajność (nikt z „zewnątrz” nie zostaje dopuszczony) też jest zła.

@j

1. Tylko częściowo jest open source. Część kodu jest tajna. A to oznacza że nie jest to tak na prawdę open source. Opieram się tutaj na informacji z wikipedii która mówi że większość Chrome jest otwarta ale nie całość: "Chromium is an open-source web browser project started by Google, to provide the source code for the proprietary Google Chrome browser.[5] The two browsers share the majority of code and features, though there are some minor differences in features, logos and they have different licensing.", "Google releases the majority of Chrome's source code as the Chromium open-source project." (https://en.wikipedia.org/wiki/Chromium_(web_browser), https://en.wikipedia.org/wiki/Google_Chrome).

2. Masz rację. Zgadzam się całkowicie. Nie można dać im takiej możliwości oszukiwania ludzi.

3. To prawda ale wtedy niestety jest wymówka do tego żeby nie ujawniać algorytmu: "jak go ujawnimy to nie będzie działał". Moim zdaniem te algorytmy powinny być tak zrobione żeby nie musiały być tajne. Poza tym jeśli system zakłada że przepytywana osoba nie kłamie to jest wadliwy i nie daje dokładnych rezultatów. Każdy kłamie i każdy może się domyślać jak powinna brzmieć prawidłowa odpowiedź. W dodatku jak ktoś się dowie od jakiegoś pracownika jak ten algorytm działa może go wtedy używać na swoją korzyść.

Dodaj komentarz