Maszynowe uprzedzenia

Superwydajna, nieomylna, pozbawiona ludzkich uprzedzeń – świat oszalał na punkcie sztucznej inteligencji. Czy ten zachwyt jest uzasadniony? A może to zwykły marketingowy kit? Czy też – wręcz przeciwnie – rację mają ci, którzy twierdzą, że AI przejmie kontrolę nad naszym życiem? Rzeczywistość jest nieszczególnie sensacyjna: sztuczna inteligencja to narzędzie w rękach ludzi.

Systemy oparte na sztucznej inteligencji (AI) można wykorzystywać w różnych urządzeniach i usługach, żeby poprawić ich działanie. Sprawdzają się zwłaszcza tam, gdzie pojawia się bardzo dużo danych, ponieważ są niedoścignione w ich analizie i wyłapywaniu prawidłowości. Na co dzień AI spotykamy w aplikacjach społecznościowych (gdzie szeregują kolejność wyświetlanych treści, „rozpoznają” emocje i moderują wrzucane przez użytkowników i użytkowniczki treści), na platformach streamingowych (gdzie podpowiadają kolejne utwory) czy wyszukiwarkach (gdzie układają tysiące wyników wedle określonych przez dostawcę wyszukiwarki kryteriów). Zautomatyzowana analiza danych jest coraz częściej wykorzystywana w medycynie (np. diagnostyce obrazowej). W niektórych państwach coraz śmielej wkracza również do sektora usług publicznych. W polskich realiach na tym polu wciąż raczkuje, ale jeśli pójdziemy śladem USA, to wkrótce normą będzie jej obecność w urzędzie, sądzie czy szkole.

Zastosowań jest wiele i wciąż pojawiają się nowe. A wraz z nimi kolejne kontrowersje.

Nie taka inteligentna

W 2016 r. Amerykę zmroziła wiadomość: „W kraju wykorzystywane jest oprogramowanie do przewidywania, kto popełni przestępstwo. I jest uprzedzone wobec czarnych”. Śledztwo dziennikarskie zespołu Julii Angwin z portalu Pro Publica wykazało, że system COMPAS, narzędzie do szacowania ryzyka w amerykańskim wymiarze sprawiedliwości, zawyża je w stosunku do osób czarnych i kobiet, a jednocześnie zaniża w stosunku do białych mężczyzn. COMPAS miał za zadanie szacować ryzyko recydywy, przemocy i niestawienia się w sądzie osób oskarżonych o popełnienie przestępstwa. W założeniu miał korygować ludzką uznaniowość w decyzjach podejmowanych przez sędziów, jednak ostatecznie odtworzył systemowe uprzedzenia (zwłaszcza rasowe).

Przypadki dyskryminacji w systemach wykorzystywanych przez państwo pojawiają się także w Europie. Brytyjski algorytm wykorzystywany do procesowania wniosków wizowych został wycofany po tym, jak został oskarżony o rasizm. W Holandii system Syri, którego zadaniem było wyłapywanie oszustw zasiłkowych, różnie traktował osoby w zależności m.in. od ich narodowości. Również polski algorytm do automatycznego profilowania bezrobotnych – choć daleki od zaawansowanych rozwiązań z Doliny Krzemowej – został zaprojektowany w sposób dyskryminujący na wielu poziomach, np. pod względem płci czy sytuacji rodzinnej.

W praktyce błędy systemu uderzają przede wszystkim w grupy marginalizowane – osoby o niskich dochodach, mniejszości etniczne. Ale – jak przekonuje Caroline Criado Perez w książce „Niewidzialne kobiety” – nie tylko. Na wielu przykładach dowodzi ona, że systemy AI nie traktują kobiet na równi z mężczyznami. Kilka lat temu było głośno o systemie rekrutacyjnym Amazona, który preferował męskie CV. Systemy rozpoznawania mowy gorzej radzą sobie z głosami kobiet – chociaż te zazwyczaj mówią wyraźniej niż mężczyźni. Podobnie systemy rozpoznawania twarzy mniej trafnie rozpoznają wizerunki kobiet, a internetowy tłumacz Google’a np. neutralne płciowo estońskie frazy „Ta on tark. Ta on ilus” interpretuje jako „ona jest piękna” i „on jest mądry”.

Systemowa dyskryminacja

Jak to się dzieje, że systemy, które w założeniu miały być neutralne, a nawet lepsze od „obarczonych” uprzedzeniami ludzi, tak często powielają stereotypy? Jedno z rozwiązań tej zagadki tkwi w danych wykorzystywanych do trenowania sztucznej inteligencji – wystarczy, że będą niskiej jakości albo nieadekwatne do celu. Dostępne dla analityków zbiory danych są odbiciem świata, w jakim żyjemy, dlatego powielają także obecne w nim uprzedzenia i niesprawiedliwości. Nieskrzywione, idealnie pasujące do celu i legalnie dostępne zbiory danych to nawet w świecie big data prawdziwy biały kruk.

Jeden z problemów, który zaważył na niepowodzeniu COMPAS-u, polegał właśnie na tym, że został on „nakarmiony” historycznymi danymi, które oddawały systemową dyskryminację czarnych Amerykanów przez wymiar sprawiedliwości. A system Amazona został wytrenowany na bazie CV i wyników rekrutacji z wcześniejszych lat, które z większymi sukcesami przechodzili mężczyźni.

W teorii projektanci systemu powinni przewidzieć i zawczasu skorygować skrzywienie (data bias), które pojawiło się w zestawie danych w wyniku ludzkich uprzedzeń lub występujących nierówności (np. surowsze wyroki wśród Afroamerykanów niż wśród białych mieszkańców USA czy preferowanie kandydatów płci męskiej przez rekruterów). W praktyce jest to trudne, bo system może dostrzegać korelacje między danymi, które z pozoru mogą wydawać się człowiekowi neutralne, a w rzeczywistości będą prowadzić do gorszego traktowania jakiejś grupy.

Błędy są nieuniknione

Nawet przy najlepszych chęciach, założeniu realnego – zgodnego z możliwościami AI – celu oraz poświęceniu odpowiedniej uwagi dobraniu danych treningowych nie da się wyeliminować wszystkich błędów. Zespół przygotowujący system oparty na AI musi podjąć niezwykle trudną decyzję – jak skalibrować go pod kątem występowania błędów fałszywie pozytywnych i fałszywie negatywnych. Każdy z nich ma inne konsekwencje – w pierwszym przypadku będzie oznaczać np. zdiagnozowanie raka u rzeczywiście zdrowej osoby, w drugim przeoczenie zmian nowotworowych u osoby chorej. Obu rodzajów błędów nie da się minimalizować jednocześnie, a przy tym maksymalizować trafności, dlatego znalezienie równowagi między czułością (służącej temu, by nie umknął nam żaden interesujący nas przypadek) a swoistością (nakierowanej na to, byśmy przypadkiem nie wyłapali czegoś, co powinniśmy zignorować) jest tak dużym wyzwaniem.

Fałszywe trafienia oprogramowania wykorzystywanego przez amerykańską policję do identyfikacji twarzy są już przedmiotem kilku spraw sądowych. Poskarżyli się na nie mieszkańcy amerykańskiego stanu Detroit, niesłusznie aresztowani za przestępstwa, które popełnił ktoś inny (nie bez znaczenia jest to, że wszyscy byli czarni).

Z napięciem między czułością a swoistością systemów AI mamy do czynienia również w bardziej prozaicznych sytuacjach, np. przy okazji konsumowania treści w Internecie. Weźmy za przykład firmę taką jak Facebook. Zadanie przeanalizowania ogromu treści tworzonych przez użytkowników pod kątem wyłapywania materiałów niezgodnych z zasadami serwisu idealnie nadaje się dla uczącego się algorytmu. Jeśli zostanie on wykalibrowany za bardzo w stronę czułości, to zacznie blokować ich tyle, że sens działania serwisu, o wolności słowa nie wspominając, będzie poważnie zagrożony. Jeśli w stronę swoistości, to okaże się, że algorytm nie pełni swojej roli strażnika nieregulaminowych treści.

Co oznacza „dobrze”

Wybór odpowiednich danych treningowych czy kompromisu między czułością a swoistością to tylko niektóre z długiej listy decyzji do podjęcia przez osoby zaangażowane w tworzenie czy wdrażanie systemu AI. Na cały proces składa się szereg decyzji podejmowanych przez ludzi: od ustalenia celu, przez testowanie, po wdrażanie wniosków. Systemowi AI nie można powiedzieć, żeby działał „dobrze”. Trzeba zdefiniować, co to „dobrze” oznacza. Nawet uczący się system potrzebuje dokładnych instrukcji, które umożliwią mu poszukiwanie wzorców w dostarczanych danych.

W całym tym procesie ścierają się opinie i wiedza: użytkownika systemu, programistów, analityków danych i audytorów. A co z naszymi potrzebami i opiniami? Osób, które na co dzień doświadczają rozwiązań wykorzystujących AI w swoim telefonie i czy komputerze? Osób, których dane karmią algorytmy? Osób, które coraz częściej będą musiały mierzyć się decyzjami podejmowanymi przez sztuczną inteligencje, czy im się to będzie podobało, czy nie?

Wróćmy do przykładu Facebooka. W świecie nadmiaru informacji wiele osób nie wyobraża sobie życia bez jego porządkującego rzeczywistość algorytmu, codziennie proponującego treści, z którymi warto się zapoznać. Jego działanie realizuje jednak przede wszystkim cel biznesowy firmy, jakim jest zarabianie pieniędzy. Dlatego algorytm jest skonstruowany tak, żeby jak najdłużej utrzymywać naszą uwagę. Ponieważ ma do dyspozycji ogrom danych – nie tylko informacje, które sami ujawniamy, ale także długie kilometry cyfrowych śladów, które często nieświadomie zostawiamy za sobą w sieci – może to robić tak skutecznie. Zna nie tylko nasze zainteresowania, poglądy czy potrzeby, ale też słabości i lęki. I potrafi to wykorzystać.

Konsekwencje stosowania coraz bardziej zaawansowanych i – co jest regułą – niejawnych algorytmów dla potrzeb takiego modelu biznesowego są daleko idące, choć mniej namacalne niż dolary na koncie amerykańskiej cyberkorporacji. Mogą negatywnie wpływać na wiele sfer naszego życia: od jakości procesów demokratycznych, po zdrowie i dobrostan psychiczny.

Bez odwrotu?

Trudno uciec od przekonania, że w świecie nadmiaru informacji jesteśmy na sztuczną inteligencję skazani. Kluczowe wyzwanie polega na tym, jak stworzyć takie warunki dla jej rozwoju, by interes społeczny nie przegrywał z biznesowym, a błędy systemu nie niosły ryzyka nieodwracalnej szkody dla osób poddanych jej działaniu. Niestety obecna ekscytacja AI sprawia, że za jej pomocą próbuje się nieraz rozwiązywać problemy, do których kompletnie się nie nadaje – na przykład przewidywać zachowanie człowieka w przyszłości albo rozwiązać skomplikowane problemy społeczne, które towarzyszą nam od dekad.

Kiedy na jaw wychodzą błędy czy negatywne skutki działania sztucznej inteligencji, łatwo sprowadzić dyskusję na techniczne tory. Tymczasem problemy mogą wynikać ze strukturalnych nierówności, skrzywionych zbiorów danych lub świadomej decyzji czy interesów ludzi, którzy stoją za jej tworzeniem i wdrażaniem. I wpływać na nasze życie.

Anna Obem, Małgorzata Szumańska

Współpraca: Karolina Iwańska

Tekst ukazał się w dodatku do Tygodnika Powszechnego, 20.10.2021.

Zdjęcie: Gerd Altmann | Pixabay