Unia szykuje przepisy dotyczące AI: 5 problemów

Artykuł

30.04.2021

11 min. czytania

Tekst

Grafika: smartfon wśród ikonek z usługami

Przepisy wspierające innowacje i chroniące przed nadużyciami – tak miała wyglądać unijna regulacja sztucznej inteligencji. Jednak propozycja przedstawiona przez Komisję Europejską 21 kwietnia nie odpowiada na najważniejsze wyzwania związane z rozwojem AI: nie stawia granic dla najbardziej ryzykownych zastosowań AI, nie umożliwia osobom poszkodowanym przez systemy AI dochodzenia swoich praw, nie rozwiązuje problemu czarnych skrzynek, a zamiast niezależnego nadzoru nad taką technologią proponuje pakiet biurokratycznych wymogów. Do tego wiele potencjalnie niebezpiecznych systemów w ogóle jej się wymyka. Przeanalizowaliśmy rozporządzenie o AI pod kątem postulatów, które sformułowaliśmy w czerwcu ubiegłego roku na początku prac nad regulacją.

1. Potencjalnie niebezpieczne systemy AI poza regulacją

Komisja wyszła z założenia, że im wyższe ryzyko dla praw i wolności człowieka związane z konkretnym systemem, tym większe obowiązki dla jego twórców i podmiotów ten system wdrażających. Zgodnie z propozycją Komisji systemy AI będzie można przypisać do jednej z czterech kategorii ryzyka: niedopuszczalne, wysokie, ograniczone lub minimalne.

Kategoria niedopuszczalnego ryzyka jest wynikiem prac Panoptykonu i innych organizacji zrzeszonych w broniącej praw cyfrowych sieci European Digital Rights: udało nam się przekonać Komisję, że w Europie faktycznie nie wszystkie zastosowania AI powinny być dozwolone, bo są nie do pogodzenia z podstawowymi prawami i wolnościami człowieka.

Z kolei lista systemów stwarzających wysokie ryzyko jest zamknięta. Znalazły się na niej m.in. systemy AI wykorzystywane przez służby i wymiar sprawiedliwości do szacowania ryzyka w stosunku do konkretnych osób lub do zarządzania migracją i kontrolą na granicach; systemy decydujące o przyznaniu zasiłku czy dostępie do usług publicznych; AI wykorzystywane do rekrutacji do pracy lub szkoły; czy też oparta o sztuczną inteligencję ocena zdolności kredytowej.

Do kategorii ograniczonego ryzyka Komisja zalicza takie systemy, które wchodzą w interakcję z ludźmi i mogą się wiązać z pewnymi negatywnymi konsekwencjami, ale nie trafiły na zamkniętą listę wysokiego ryzyka: od chatbotów po algorytmy personalizujące treści na platformach internetowych. W obecnej wersji rozporządzenia twórcy systemów z kategorii stwarzającej „ograniczone ryzyko” nie mają w zasadzie żadnych obowiązków. Nie muszą monitorować ryzyka związanego z ich AI, przygotować dokumentacji technicznej do wglądu regulatorów, ani dbać o to, by ich systemy były sprawiedliwe. Jedyny ich obowiązek to poinformowanie ludzi, że mają do czynienia z AI. Nie muszą jednak wdawać się w szczegóły, np. jaki problem to AI ma rozwiązać ani jak system działa.

W końcu, do kategorii minimalnego ryzyka zaliczymy zdecydowaną większość zastosowań AI – są to systemy, które zasadniczo nie mają bezpośredniego wpływu na sytuację człowieka (np. są stosowane do zarządzania produkcją w firmie).

Naszym zdaniem ocena wpływu na prawa i wolności człowieka powinna być przeprowadzana dla każdego systemu, który wchodzi w interakcję z ludźmi, przed jego wdrożeniem. Tylko w ten sposób możemy przekonać się, z jakim ryzykiem tak naprawdę łączy się konkretne zastosowanie AI, i zapewnić, że potencjalnie niebezpieczne systemy zostaną poddane odpowiedniej kontroli.

Komisja przyznała sobie co prawda prawo do aktualizowania listy systemów wysokiego ryzyka z pomięciem skomplikowanej unijnej procedury legislacyjnej, ale mamy obawę, że ten mechanizm będzie nieskuteczny. Po pierwsze, może być długotrwały i zależny od woli politycznej. Po drugie, bardzo możliwe, że niektóre systemy wykorzystujące AI byłyby wciągane na listę wysokiego ryzyka już po tym, jak wyrządzą konkretne szkody, a więc zamiast zapobiegać negatywnym skutkom AI dzięki ocenie wpływu na człowieka przed wdrożeniem systemu, będzie można tylko naprawiać poczynione przez nie szkody.

2. Zbyt wąski zakaz dla najbardziej ryzykownych zastosowań

Na liście zakazanych systemów znalazły się takie, które mają na celu tworzenie scoringu społecznego (podobnego do tego funkcjonującego w Chinach), umożliwiają policji i służbom biometryczną masową inwigilację w czasie rzeczywistym, żerują na słabościach związanych z wiekiem lub niepełnosprawnościami lub stosują podprogowe metody do wpływania na ludzi w sytuacji, gdy może to powodować fizyczną lub psychiczną szkodę.

Tak sformułowane zakazy w praktyce mogą okazać się fikcyjne. Pierwsze, co rzuca się w oczy, to bardzo wąski zakres ich zastosowania. Dla biometrycznej identyfikacji przez służby przewidziano daleko idące wyjątki, które w praktyce umożliwiają stworzenie całej infrastruktury biometrycznej inwigilacji, która będzie uruchamiana za zgodą sądu (a np. w Polsce kontrola sądowa nad inwigilacją jest iluzoryczna). Zakazem nie jest też objęte rozpoznawanie twarzy czy inne metody biometrycznej identyfikacji nie w czasie rzeczywistym, a na późniejszym etapie (np. w drodze analizy wcześniej zarejestrowanych nagrań czy zdjęć). Zastanawiające jest też to, że Komisja zdaje się akceptować wykorzystywanie ludzkich słabości, jeśli wynikają one z innych cech niż wiek czy niepełnosprawność. Dodatkowo, takie systemy byłyby zakazane tylko wtedy, gdy mogą spowodować fizyczną lub psychiczną szkodę. Ale jak tę potencjalną szkodliwość wykazać w sytuacji, gdy ciężar dowodu spoczywa na osobach poddanych działaniu systemu wykorzystującego AI, a jednocześnie ocenę ryzyka, z której można by wyczytać to zagrożenie, przeprowadzają sami twórcy systemów, bez obowiązku jej publikacji?

Po drugie, zdelegalizowanie innych niż wymienione w rozporządzeniu systemów, jeśli okaże się, że są nie do pogodzenia z prawami podstawowymi, będzie w praktyce niemożliwe. Żeby to zrobić, instytucje unijne musiałyby otworzyć nowy proces legislacyjny i zrewidować przepisy, co trwa wiele lat. Dlatego, obok zakazów konkretnych systemów, postulujemy wprowadzenie ogólnych kryteriów, które określałyby, w jakich sytuacjach wykorzystanie AI staje się nielegalne: np. kiedy nie da się skutecznie zminimalizować ryzyka lub gdy zaproponowany system jest nie do pogodzenia z istotą podstawowych praw i wolności, np. godnością człowieka. Tylko w ten sposób prawo będzie mogło służyć dłużej i chronić ludzi przed systemami, których konsekwencji dla praw i wolności jeszcze dziś nie znamy.

3. Biurokracja w miejsce niezależnego nadzoru

Według propozycji Komisji w przypadku zdecydowanej większości wysoce ryzykownych systemów AI ocena ryzyka i skuteczności środków podjętych, żeby zapobiec niebezpieczeństwom, będzie przeprowadzana samodzielnie przez ich właścicieli. Co więcej, wymogi dotyczące tej oceny są czysto biurokratyczne. Komisja wymaga chociażby stworzenia 13 różnych wewnętrznych procedur, przygotowania i aktualizowania szczegółowej dokumentacji technicznej i spełnienia licznych wymogów dotyczących jakości danych, na których trenowane są systemy AI. Tymczasem w większości przypadków wyniki przeprowadzonej przez właścicieli systemu oceny ryzyka i dokumentacja techniczna nie będą podlegały uprzedniej weryfikacji przez niezależnych audytorów lub organy nadzorcze. Nie będą też im automatycznie przekazywane, a dostępne dopiero na żądanie. W dodatku – choć trudno w to uwierzyć – twórcy systemów decydujących o tym, czy ktoś dostanie pracę lub zasiłek, samodzielnie przyznawaliby sobie certyfikat zgodności z prawem UE…

Trudno nie odnieść wrażenia, że zamiast niezależnej kontroli nad systemami wysokiego ryzyka, które mogą się wiązać z dotkliwymi konsekwencjami dla jednostek, a nawet całego społeczeństwa, Komisja próbuje stworzyć zbiurokratyzowany system wewnętrznej oceny „zgodności z przepisami”. W ten sposób zachęci twórców systemów AI do spełnienia wymogów li tylko na papierze, zamiast skłonienia ich do poważnego zastanowienia się, jak ich system może negatywnie wpłynąć na ludzi (i rozliczenia ich z tego).

4. Brak narzędzi dla osób poszkodowanych działaniem AI i organizacji społecznych

Rozporządzenie przewiduje szereg różnego rodzaju obowiązków (głównie technicznych) dla twórców systemów wysokiego ryzyka. Jednak nie przewiduje jakiejkolwiek ścieżki prawnej, np. skargi do organu nadzorczego, dla osób poszkodowanych przez decyzje podejmowane przez AI. Nie umożliwia też organizacjom stojącym na straży praw człowieka, takim jak Panoptykon, ani organizacjom reprezentującym osoby poddane działaniu AI (np. związkom zawodowym, organizacjom pomagającym osobom wykluczonym, organizacjom konsumenckim) interwencji w sprawie konkretnych systemów AI ani możliwości zgłoszenia naruszeń do organu nadzorczego.

Być może Komisja wyszła z założenia, że RODO jest wystarczającym instrumentem odwoławczym? Co jednak w sytuacjach, gdzie RODO nie sięga, np. gdy decyzje podejmowane przez AI opierają się nie na danych osobowych, a na korelacjach statystycznych czy big data? Albo gdy decyzje AI podlegają w teorii zatwierdzeniu przez człowieka, więc nie są w pełni automatyczne?

Będziemy więc musieli polegać wyłącznie na inicjatywie organu, którego powołanie przewidują nowe przepisy. Czy jednak będzie on dysponował odpowiednimi środkami i zespołem osób znających się na różnych aspektach działania AI, żeby skutecznie monitorować i ścigać naruszenia? Na pewno nie będzie w stanie im zapobiegać, skoro nawet w przypadku systemów wysokiego ryzyka nie trzeba będzie informować go o wynikach oceny ryzyka – ani tym bardziej zatwierdzać jej przed wdrożeniem systemu.

5. Nieotwarte czarne skrzynki

Komisja proponuje, by lista systemów wysokiego ryzyka i ogólne techniczne informacje na ich temat były publicznie dostępne w centralnej bazie dostępnej na stronach UE. Jednak aby ta baza umożliwiła organizacjom broniącym praw człowieka zidentyfikowanie i zakwestionowanie kontrowersyjnych systemów, powinny się w niej znaleźć wyniki przeprowadzonej oceny ryzyka, szczegółowy opis tego, jaki problem rozwiązuje system i na jakich dokładnie parametrach się opiera. W obecnym kształcie przepisy niestety nie przewidują udostępniania tych informacji.

Komisja zadbała co prawda o to, by ludzie mający do czynienia z konkretnym systemem wykorzystującym AI - niezależnie od jego poziomu ryzyka - mieli tego świadomość. Jednak na tym kończy się przejrzystość AI w indywidualnych sprawach. Firma lub instytucja wykorzystująca system nie ma chociażby obowiązku podania przy tej okazji linku do informacji o systemie w bazie Komisji, żeby ułatwić zainteresowanym zapoznanie się z tym, jak system działa.

To oznacza, że ani uczennica, której wyniki będą ocenione w szkole przez algorytm, ani rodzina uchodźców, której wniosek o azyl rozpatrzy AI, ani osoba podejrzana o popełnienie przestępstwa, o której areszcie zdecyduje sędzia wspomagany przez uczący się system, nie będą musieli być poinformowani o tym, jak system został zbudowany, po co został stworzony, ani jakie czynniki zostały wzięte pod uwagę przy podejmowaniu tej decyzji. A tylko jasna i dostępna informacja co do celów, logiki i ryzyka związanego z zastosowaniem systemu umożliwi im skuteczne upomnienie się o ich prawa.

Co dalej?

W nadchodzących miesiącach czeka nas zacięta walka o lepszą regulację – zarówno na poziomie Parlamentu Europejskiego (z którego już teraz dochodzą głosy krytyczne wobec propozycji Komisji), jak i na poziomie krajowym, przy wypracowywaniu stanowiska Polski do prac w Radzie UE. Na szczęście nasza krajowa rządowa polityka rozwoju sztucznej inteligencji wydaje się iść dużo dalej niż zaproponowana unijna regulacja, szczególnie w kontekście wpływu tych systemów na ludzi. Mamy nadzieję, że stanowisko rządu to odzwierciedli.