Niesprawiedliwe, nieprzejrzyste i masowe

Nierówności, a nie prywatność – tak chyba najlepiej można streścić książkę Cathy O’Neil pt. Broń matematycznej zagłady. W świecie „po Snowdenie” chyba zbyt często myślimy o tym, że odległe służby inwigilują nas i oglądają nasze nagie fotki. Tymczasem to, co już teraz robią maszyny i komputery, to wprowadzanie systematycznych podziałów na lepszych i gorszych oraz formalizowanie wielu społecznych nierówności.

Czy algorytmy przejmują kontrolę nad dzisiejszym światem? Taki obraz wyłania się z pracy Cathy O’Neil. Dzięki książce wydanej niedawno przez PWN możemy zobaczyć, że nasze współczesne cyfrowe życie wyznaczane jest przez różne modele matematyczne. Systematy automatycznie decydują o przyjęciu na studia, długości odbywanej kary czy składkach ubezpieczeniowych. Bardzo często jednak decyzje te są wyjątkowo niesprawiedliwe.

Cathy O’Neil jest postacią nietuzinkową. Doktor matematyki i niegdysiejsza pracowniczka funduszy hedgingowych. To właśnie dzięki temu doświadczeniu zobaczyła, że stosowanie algorytmów i manipulowanie liczbami może prowadzić do gigantycznych problemów. Chciwość i wyszukane modele matematyczne były jednym ze źródeł wielkiego kryzysu finansowego.

Po upadku Lehman Brothers O’Neil przeniosła się do firm działających w obszarze big data. Tam była świadkiem powstawania tytułowych broni matematycznej zagłady (BMZ) – czyli modeli matematycznych, które są niesprawiedliwie, nieprzejrzyste i mają masowy charakter. Bardzo często projektanci algorytmów mają dobre intencje, jednak zbyt często te intencje rodzą fatalne konsekwencje. Wynika to z błędów, stereotypów czy źle rozumianej efektywności.

Autorka rozpoczyna swoją książkę od opisu, czym jest dobry i zły model matematyczny. Uwidacznia się tutaj ogromny talent O’Neil do pokazywania przykładów i ilustrowania teoretycznych problemów elementami codziennego życia. Modele statystyczne są wykorzystywane do rekrutacji zawodników do drużyn baseballowych, a rodzicom pozwalają przygotowywać posiłki dla dzieci. Naszym życiem prywatnym i zawodowym rządzą pewne reguły. O’Neil mówi nam, że modele te są z natury subiektywne, wymagają pewnych określonych danych – a ich (nazbyt) szerokie zastosowanie może prowadzić do absurdów. I to właśnie ta myśl – podana w zabawny sposób – stanowi podstawę dalszej argumentacji autorki.

„Po pierwsze człowiek” – to chyba najważniejszy wniosek wynikający z pracy O’Neil. Jej zdaniem to właśnie ludzie powinni być punktem odniesienia dla twórców algorytmów. Modele matematyczne są subiektywne, ale zdaniem autorki nie jest to do końca złe. Dużo gorsze jest zapominanie o tym zjawisku lub jego ukrywanie, co może prowadzić do fatalnych, krzywdzących skutków. Sprawiedliwości czy współczucia nie da się przełożyć na liczby, nie mogą więc ich posiadać modele matematyczne. W rezultacie te dwie kluczowe dla naszego społeczeństwa wartości znikają z systemów automatycznych.

Książka O’Neil stanowi ważny punkt odniesienia dla szerszej dyskusji na temat etyki nowych technologii i oczywistych niedoskonałości algorytmów. Co ważne: przenosi też ciężar debaty publicznej z ochrony prywatności na nierówności społeczne i faktyczną ludzką krzywdę. O’Neil jest prowokacyjna i radykalna. Niektórzy twierdzą, że stosuje zbyt dużo uproszczeń, że szuka tanich sensacji. Broń matematycznej zagłady ma jednak konkretny cel – ma wstrząsnąć. I robi to w doskonały sposób.

Jędrzej Niklas

Cathy O'Neil, Broń matematycznej zagłady, Wydawnictwo Naukowe PWN, 2017.