Sztuczna inteligencja pod kontrolą. Europa szykuje przepisy

Bez względu na to, czy kibicujemy rozwojowi sztucznej inteligencji i jej obecności „w każdej lodówce”, czy się tego scenariusza obawiamy, jedno możemy przyjąć za pewnik: ta dziedzina wiedzy technicznej, o szerokim zastosowaniu, dopiero się rozkręca i niejednym nas jeszcze zaskoczy. Czekają nas nie tylko kolejne wcielenia „inteligentnych” asystentów i profilowanych usług, ale też coraz szersze wykorzystanie AI do dokonywania wyborów za ludzi lub wspierania ich w obiektywnie trudnych decyzjach: od optymalizacji świadczeń publicznych i zarządzania szpitalami (a nawet planowania indywidualnych programów leczenia) po szacowanie ryzyka (finansowego, powodziowego, epidemiologicznego itd.) i przewidywanie, jak będzie się rozkładać przestępczość na mapach miast lub w ramach konkretnej populacji. Ale bogatsi o doświadczenia ze Stanów Zjednoczonych, gdzie AI w tych wszystkich obszarach już jest obecna, możemy zminimalizować negatywne skutki związane z jej wykorzystaniem – dzięki przygotowaniu odpowiedniej regulacji.

Innowacyjna, agresywnie przedsiębiorcza Dolina Krzemowa i biurokratyczna Bruksela rzadko mówią jednym głosem, ale akurat w dyskusji o tym, czy regulować AI, zanim wszyscy odczujemy negatywne skutki ryzykownych eksperymentów z jej wykorzystaniem, i europejscy urzędnicy, i inwestorzy zajmują podobne stanowisko. Elon Musk, którego trudno podejrzewać o brak biznesowej wyobraźni, mówi wręcz o „egzystencjalnym zagrożeniu dla ludzkości”, które spowoduje nieskrępowany rozwój AI. Jego zdaniem prawnie narzucone BHP czy też „pasy bezpieczeństwa” dla AI są pilnie potrzebne.

Tak, potrzebujemy regulacji, która w pewnym sensie wyprzedzi swój czas i odpowie na zagrożenia, które dopiero rysują się na horyzoncie. Nie powinien to być kazuistyczny kodeks ani biurokratyczna łamigłówka, ale zasady, które nie zestarzeją się w ciągu pięciu lat. Zadaniem, przed którym właśnie stoi Komisja Europejska, jest ich wymyślenie. Kierunek tego myślenia już został zarysowany w białej księdze na temat sztucznej inteligencji – dokumencie programowym, który KE ogłosiła w lutym tego roku. Czytamy w nim:

Trudno się nie zgodzić z tak postawionymi celami. Kto by czasem nie chciał i mieć ciastko, i zjeść ciastko? Nie uciekniemy jednak od pytania, czy rzeczywiście można pogodzić „europejskie wartości” i ochronę praw ludzi z dynamicznym rozwojem technologii, którą tak ciężko poddać społecznej kontroli, choćby ze względu na szybkie tempo zmian i wysoką złożoność. Czy – przynajmniej na pewien czas – nie musimy jednak postawić tej technologii sztucznych ograniczeń, nawet w formie zakazu jej stosowania w określonych obszarach? 

To tylko jedno z trudnych pytań, na jakie Komisja Europejska będzie musiała odpowiedzieć w tym procesie. Kolejne nasuwają się same: 

• Jak wyznaczyć zakres takiej twardej regulacji, żeby chronić ludzi, ale nie blokować firm w korzystaniu np. z Excela z zaprogramowanymi funkcjami? 
• Jak wyegzekwować odpowiedzialność za skutki społeczne eksperymentów ze sztuczną inteligencją bez popadania w biurokrację i sformalizowane, ale niewiele pokazujące audyty? 
• Jak zadbać o ochronę praw i budować świadomość ludzi, którzy już stykają się z AI na każdym kroku, ale nie chcą być zalewani technicznymi informacjami? 

Czeka nas bardzo wymagający proces legislacyjny, a w pierwszym kroku – trudna, polityczna dyskusja. Widząc to wyzwanie, zabraliśmy głos w otwartych przez Komisję Europejską konsultacjach społecznych. Poniżej zaś opisujemy pięć zasad, które zorganizowały nasze myślenie o tym, jak regulować AI.

1. Unia Europejska powinna określić granicę, za którą wykorzystanie AI staje się nielegalne.

Uczenie maszynowe jako dziedzina wiedzy o bardzo szerokim zastosowaniu nie jest ani dobra, ani zła. Inaczej jest z konkretnymi wdrożeniami AI: z pewnością znajdą się takie, które uznamy za niedopuszczalne – i to nie tylko w wymiarze etycznym, ale też prawnym. Tworzący i wdrażający takie rozwiązania potrzebują pewności co do tego, jak daleko wolno im się posunąć. Gdzie przebiega cienka czerwona linia, za którą grozi im odpowiedzialność za naruszenie prawa?

W nowej regulacji Komisja Europejska będzie musiała te zasady odważnie i precyzyjnie określić. Naszym zdaniem system wykorzystujący AI narusza prawo i nie powinien być dopuszczony do użytku, jeśli występuje przynajmniej jeden z tych problemów:

• jego działanie rodzi wysokie ryzyko naruszenia praw człowieka (więcej o tym, jak to ryzyko oceniać, piszemy niżej), a jednocześnie wdrażający system nie przedstawili pomysłu, jak to ryzyko skutecznie minimalizować;
• nie można w niezależny sposób skontrolować jego działania (np. wykorzystany model statystyczny jest chroniony tajemnicą przedsiębiorstwa) – i tym samym zweryfikować, czy nie prowadzi do błędów lub nadużyć;
• zastosowanie systemu jest nie do pogodzenia z istotą podstawowych praw i wolności, np. narusza godność człowieka (nawet, jeśli można sobie wyobrazić środki ograniczające ryzyko dyskryminacji czy wykluczenia konkretnych osób).

Ogólne zasady mają tę zaletę, że są elastyczne i wolno się starzeją. Mają też jednak wady: poddają się rozmaitym interpretacjom i dopiero długa droga sądowa pozwala stwierdzić, czy konkretna zasada została naruszona. W obszarze takim jak AI – gdzie możemy się spodziewać ciągłych eksperymentów i szybkich zwrotów akcji – warto zadbać nie tylko o elastyczność, ale też o skuteczność i szybkie egzekwowanie prawa. Dlatego niezależnie od elastycznych, ogólnych zasad potrzebujemy też konkretnych zakazów: swoistej czarnej listy, na którą trafią takie przypadki wykorzystania AI, co do których już wiemy, że naruszają prawa człowieka lub niosą za sobą niemożliwe do ograniczenia ryzyko.

Taka lista zakazanych zastosowań AI nie powinna być wykuta w kamieniu ani nawet zapisana w ustawie. Jej weryfikowanie i rozwijanie powinno być zadaniem organów nadzorujących egzekwowanie nowego prawa. Podobne rozwiązanie znamy już z prawa ochrony konkurencji i konsumentów, gdzie – obok ogólnych zasad stosowanych przez sądy i UOKiK – od lat funkcjonuje rejestr niedozwolonych praktyk i klauzul umownych, które zostały uznane za naruszające prawo.

Listę zastosowań AI, których zakazanie postulujemy już teraz, otwierają przykłady pochodzące z sektora publicznego. To nie przypadek, ponieważ właśnie w tym sektorze ryzyka dla praw i wolności ludzi są szczególnie wysokie.

Uważamy, że nie da się pogodzić procedur, jakie powinny obowiązywać w demokratycznym państwie, i ochrony praw człowieka z zastosowaniem sztucznej inteligencji do:

• masowego nadzorowania miejsc publicznych (np. za pomocą tzw. inteligentnego monitoringu), jeśli w grę wchodzi wykorzystanie danych biometrycznych (np. systemów do rozpoznawania twarzy);
• oceniania, czy konkretna osoba „zasługuje” na świadczenie społeczne (np. przyznanie zasiłku, zakwalifikowanie do programu badań medycznych) lub szczególne zainteresowanie organów państwa z innych względów (np. w ramach kontrolowania migracji);
• szacowania ryzyka w stosunku do konkretnych osób przez organy ścigania i wymiar sprawiedliwości (np. decyzja o zatrzymaniu w areszcie ze względu na ryzyko popełnienia przestępstwa).

Tego typu decyzje i działania organów państwa niosą za sobą zbyt poważne konsekwencje dla ludzi, by zaryzykować ich powierzenie sztucznej inteligencji. AI może być wykorzystywana do wspierania urzędników, sędziów i policjantów w podejmowaniu decyzji, które wymagają analizy danych, ale tylko pod warunkiem pełnej przejrzystości i wyjaśnialności jej rozstrzygnięć (o tych zasadach piszemy niżej).

2. Każde zastosowanie AI, które dotyczy ludzi, musi podlegać ocenie ryzyka.

W białej księdze Komisja Europejska zaproponowała podejście oparte na ryzyku. A więc nie chce regulować każdego zastosowania AI, a jedynie te, które mogą – w praktyce – zaszkodzić poszczególnym ludziom lub całemu społeczeństwu. Z jednej strony zgadzamy się z tym podejściem: problemem nie jest przecież sama technologia, ale jej wykorzystanie w konkretnym celu. Z drugiej strony, dostrzegamy jednak duże ryzyko w przyjęciu już na poziomie przepisów, że niektóre obszary wykorzystania AI są ryzykowne, a inne nie. 

Na przykład łatwo uznać, że reklama internetowa to raczej sektor niskiego ryzyka, ponieważ nie wchodzą tu w grę poważne decyzje dotyczące ludzkiego zdrowia, życia czy sytuacji finansowej. A jednak mamy wiele dobrze udokumentowanych przypadków szkodliwych (np. żerujących na ludzkich słabościach i nałogach) lub dyskryminujących reklam (np. ofert pracy), które nie powinny wymykać się wymogowi przeprowadzenia oceny skutków dla praw człowieka.

Komisja Europejska zakłada wprawdzie, że lista ryzykownych sektorów miałaby być weryfikowana i rozwijana przez odpowiednie organy. Nadal jednak, biorąc pod uwagę to, jak dynamicznie i w ilu kierunkach jednocześnie rozwija się ta dziedzina wiedzy, uważamy, że to podejście będzie zbyt mało elastyczne. I proponujemy inne rozwiązanie.

Naszym zdaniem nowa regulacja powinna wyjść z założenia, że każde zastosowanie AI, które dotyczy ludzi, może nieść za sobą ryzyko dla ich praw i wolności. Może, ale nie musi. Jednak jedynym sposobem, by się o tym przekonać, jest przeprowadzenie oceny każdego takiego systemu pod kątem wpływu, jaki będzie wywierał na ludzi. Regulacja prawna nie powinna zwalniać żadnych sektorów z obowiązku dokonania takiej oceny.

W tym zabiegu chodzi o to, żeby obowiązkową analizą ryzyka objąć wszystkie zastosowania sztucznej inteligencji, które w jakikolwiek sposób mogą wpłynąć na ludzi, w szczególności na ich sytuację prawną, kondycję fizyczną lub psychiczną, dostęp do dóbr i usług – i to niezależnie od tego, czy ich wpływ jest pozytywny, czy negatywny; istotny, czy nie; natychmiastowy, czy odroczony. W niektórych przypadkach ten wpływ będzie ewidentny (np. odmowa warunkowego zwolnienia z więzienia), w innych trudny do uchwycenia albo widoczny dopiero w skali (mikro)społeczności (np. wzrost cen mieszkań w dzielnicy). Dlatego ważne jest też to, by ciężar wykazania, że konkretny system wykorzystujący sztuczną inteligencję w żaden sposób nie wpływa na ludzi, spoczywał na tym, kto ów system rozwija lub wdraża.

3. Wyniki oceny ryzyka dla systemów wykorzystujących AI muszą podlegać niezależnej – również społecznej – kontroli.

Ze względu na skalę zastosowań AI i to, jak szybko są dziś rozwijane nowe usługi – szczególnie komercyjne – wymaganie, żeby każdą ocenę ryzyka dla każdego systemu przeprowadzał jakiś niezależny podmiot, jest zupełnie nierealistyczne. A jednocześnie nie możemy pozwolić na to, by jedynym arbitrem w procesie oceny wpływu danego systemu na ludzi był ten, kto ów system tworzy lub wdraża. W takim scenariuszu łatwo sobie wyobrazić sprowadzenie całego procesu do pustej formalności. A tego przecież nie chcemy. Dlatego proponujemy rozwiązanie, które angażuje – na różnych etapach i w różnych formach – różne podmioty. A przede wszystkim zakłada jawność i kontrolę społeczną nad jakością (przeprowadzanych wewnętrznie) ocen ryzyka.

Na podstawowym poziomie ocena wpływu systemu wykorzystującego AI na ludzi mogłaby działać podobnie, jak w tym momencie działa ocena skutków dla ochrony danych osobowych (wg RODO):

• pierwsze podejście do oceny ryzyka robi (wewnętrznie) ten, kto tworzy i zna dany system;
• taka ocena nie może być jednorazową czynnością ani tym bardziej formalnością; powinna być procesem, który jest na nowo otwierany za każdym razem, gdy zmienia się coś w ocenianym systemie (zwłaszcza na etapie jego projektowania, rozwijania, testowania i wdrażania);
• jeśli przeprowadzona wewnętrznie ocena ryzyka wykazała, że system może mieć istotny wpływ na (prawa) ludzi, jego właściciele mają obowiązek zgłoszenia takiego ryzyka organowi nadzorczemu i przekazania mu pełnej dokumentacji;
• organ nadzorczy może ukarać firmę lub instytucję, która nie wdroży odpowiednich środków ograniczenia ryzyka zidentyfikowanego podczas oceny skutków;
• jeśli nie istnieją środki pozwalające to ryzyko skutecznie zminimalizować, projekt powinien zostać wstrzymany, ponieważ takie zastosowanie AI naruszałoby prawo (por. zasady opisane wyżej).

Dzięki dwóm latom doświadczeń z RODO dostrzegamy jednak pewne braki i słabości, które w regulacji systemów sztucznej inteligencji warto skorygować.

• Po pierwsze, przeprowadzane wewnętrznie oceny wpływu na prawa człowieka powinny być publikowane (w formacie umożliwiającym odczyt maszynowy) i dostępne dla zainteresowanych osób; z dokumentu mogą zostać usunięte informacje objęte tajemnicą przedsiębiorstwa, jeśli tylko nie uniemożliwia to czytelnikom zrozumienia logiki działania systemu, oceny zdiagnozowanych ryzyk i środków, jakie planują wdrożyć twórcy systemu, żeby te ryzyka minimalizować.
• Po drugie, jeśli wstępna ocena ryzyka wykazała, że system może mieć istotny wpływ na (prawa) ludzi, jego właściciele powinni zlecić drugą – niezależną – ocenę, przeprowadzoną nie przez wynajętych konsultantów, ale przez certyfikowanych audytorów (Komisja Europejska w białej księdze rozważa stworzenie takiego mechanizmu, wzorowanego na „uprzednich ocenach zgodności”, które już działają w obszarze cyberbezpieczeństwa).
• Po trzecie, wdrożenia AI w sektorze publicznym powinny – dodatkowo – podlegać otwartym konsultacjom, angażującym przynajmniej te grupy, na których sytuację system ma bezpośrednio wpływać, i wyspecjalizowane organizacje społeczne; organ odpowiedzialny za wdrożenie systemu powinien też publicznie odnieść się do wątpliwości zgłoszonych w toku konsultacji.

4. Zasady działania systemu wykorzystującego AI powinny być jawne i zrozumiałe dla ludzi.

Wokół sztucznej inteligencji narosło wiele mitów. Jednym z najczęściej powracających i zarazem najbardziej szkodliwych jest ten, że zasad jej działania nie da się wyjaśnić. A przynajmniej, że tej wiedzy nie przyswoi człowiek bez matematycznego wykształcenia. Nie zgadzamy się z tą tezą. Co więcej, uważamy, że systemy, które mają bezpośredni wpływ na ludzi – szczególnie te, które mają być wykorzystywane w sektorze publicznym – po prostu muszą spełniać podstawowy standard wyjaśnialności.

Przy czym wcale nie chodzi tu o możliwość prześledzenia i wyjaśnienia, krok po kroku, procesów zachodzących wewnątrz tzw. czarnych skrzynek. Chodzi o wyjaśnienie – w przystępnej formie i ludzkim językiem – po co system został stworzony i według jakich zasad „podejmuje decyzje”. Mówiąc najprościej: ludzie, którzy stykają się z systemem wykorzystującym AI, powinni mieć tego świadomość i – przynajmniej na ogólnym poziomie – rozumieć jego cele, logikę oraz ryzyka, które ich dotyczą.

Taką edukację użytkowników końcowych w świecie AI można oprzeć na wzorach, które od lat funkcjonują w sektorze farmaceutycznym. W przypadku leków mamy do czynienia z podobnymi wyzwaniami: zasady ich działania bywają złożone, możliwość wystąpienia skutków ubocznych często zależy od różnych czynników, a na półce w aptece łatwo pomylić suplement diety z pełnowartościową substancją medyczną. Z pomocą zagubionym konsumentom przychodzą ściśle regulowane ulotki i opisy na opakowaniach leków.

Opracowanie dobrych „etykiet” i „ulotek” dla systemów wykorzystujących AI to poważne wyzwanie, więc tym bardziej nie warto odsuwać go w czasie. Wyobrażamy sobie proces ich opracowania, który angażuje organy nadzorcze, twórców tych systemów, ekspertów od projektowania tzw. doświadczenia użytkownika i stronę społeczną.

W informacji dostępnej dla każdego (np. na stronie internetowej) powinny się znaleźć odpowiedzi na następujące pytania:

• kto stworzył system i kto odpowiada za jego stosowanie;
• na jaki problem system próbuje odpowiedzieć;
• jak twórcy wyobrażają sobie modelowe użycie systemu (przykład konkretnej sytuacji);
• jaka jest generacja i klasa modelu statystycznego lub modeli statystycznych wykorzystywanych przez system;
• jakie są kategorie i źródła danych, na których model został wytrenowany;
• jakie są zmienne wejściowe i wyjściowe – czyli przykłady informacji, z jakich system korzysta, i wyników, jakie generuje;
• jakie kroki zostały podjęte, żeby zagwarantować sprawiedliwość, dokładność, niezawodność i bezpieczeństwo systemu;
• na jaką kategorię osób system może oddziaływać negatywnie (w oparciu o wyniki testów i udokumentowane błędy);
• z kim i jak należy się kontaktować po to, by odwołać się od automatycznie podjętej decyzji (jeśli takie decyzje są podejmowane).

Bardzo dobrym, choć niewątpliwie dość wymagającym w utrzymaniu sposobem na wyjaśnienie sposobu działania AI jest umożliwienie każdemu użytkownikowi systemu przetestowania alternatywnych, hipotetycznych scenariuszy (ang. counterfactual explanations). W takim interaktywnym procesie człowiek dotknięty przez system mógłby sprawdzić, jak bardzo wynik lub decyzja w jego sprawie różniłyby się, gdyby zachował się inaczej lub posiadał inną cechę (oczywiście w ramach katalogu możliwych zachowań lub cech określonego przez dostawcę systemu).

5. Organy publiczne nie powinny sięgać po AI, jeśli nie mają dowodów na wymierne, społeczne korzyści.

Z białej księgi Komisji Europejskiej przebija teza, że Europa potrzebuje więcej wdrożeń sztucznej inteligencji. Inwestowanie w tę technologię jest utożsamiane z postępem, a jej wykorzystanie w administracji publicznej – z szansą na rozwiązanie problemów, z którymi dotąd borykali się urzędnicy (np. sprawiedliwą dystrybucją świadczeń społecznych). W naszej ocenie to dość ryzykowna strategia. Mamy w samej Europie, nie wspominając już o Stanach Zjednoczonych, dość doświadczeń z tą technologią, żeby przekonać się, że nie do każdego celu nadaje się ona równie dobrze.

Podczas gdy AI coraz lepiej sobie radzi z rozpoznawaniem wzorów i zależności, które są stabilne (np. rozpoznawanie obrazu), ma realne trudności np. z analizą języka naturalnego, ponieważ zmienia się on w czasie, a sens komunikatu w dużej mierze zależy od kontekstu. W przewidywaniu ludzkich zachowań i ocenie złożonych stanów o zmiennym przebiegu (takich jak choroba) AI też wypada bardzo słabo. „Głupieje” również w sytuacji, gdy rzeczywistość nagle zaczyna odbiegać od danych, na jakich została wytrenowana (np. w czasie pandemii koronawirusa konsumenci przestają kupować elektronikę i gromadzą środki czystości – dla człowieka taka nagła zmiana jest uzasadniona, ale dla AI wygląda jak atak botów).

Każdy, kto projektuje systemy wykorzystujące AI, powinien brać pod uwagę te ryzyka i ograniczenia. Przy czym dla administracji publicznej ta poprzeczka przy analizie sensowności projektu powinna być zawieszona wyżej. Na szali leżą przecież poważne konsekwencje dla ludzi i marnotrawstwo środków publicznych. Dlatego w przypadku organów publicznych nie wystarczy samo zaproponowanie i wdrożenie środków ograniczających ryzyko, jakie niesie za sobą dany system. Równie ważny jest wcześniejszy krok, czyli ocena spodziewanych korzyści i wykazanie, że system w ogóle jest potrzebny: że jest w stanie spełnić pokładane w nim nadzieje i zrealizować postawione przed nim zadanie lepiej, niż zrobiliby to ludzie.

***

Sztuczna inteligencja już z nami jest i zostanie. Ale w naszych rękach leży to, w jakich celach i z jakimi kosztami lub korzyściami społecznymi będzie wykorzystywana. W Panoptykonie chcielibyśmy, żeby miejsce retorycznych zapasów między bezkrytycznym zachwytem nad jej możliwościami a straszeniem, że zabierze nam pracę, zajęła merytoryczna debata o tym, jakie ramy – nie tylko prawne – musimy przygotować, żeby zapewnić społeczną kontrolę nad jej wykorzystaniem w różnych dziedzinach życia.

PS Komisja Europejska poinformowała, że wpłynęło do niej ponad 1200 odpowiedzi na konsultacje dotyczące białej księgi o AI. Wszystkie te głosy mają zostać uwzględnione w raporcie podsumowującym konsultacje. W kolejnym kroku, zapewne już w 2021 r., Komisja albo opublikuje kolejną wersję białej księgi, albo przedstawi projekt rozwiązań legislacyjnych.

Katarzyna Szymielewicz

Współpraca: Karolina Iwańska, Anna Obem

Polecamy:

• Stanowisko Fundacji Panoptykon w konsultacjach białej księgi Komisji Europejskiej dot. sztucznej inteligencji
• Sztuczna inteligencja – trzy mity, które trzeba rozbroić
• Sztuczna inteligencja non-fiction

Podcasty z cyklu Panoptykon 4.0 na temat AI:

• Odpowiedzialni za AI. Rozmowa z Sebastianem Szymańskim
• Automatyczna apokalipsa. Rozmowa z Andrzejem Zybertowiczem
• AI znaczy rozwój? Rozmowa z Janem Filipem Staniłką
• RODO vs sztuczna inteligencja, Rozmowa z Aleksandrą Przegalińską