Zapraszamy na świąteczno-noworoczne wydanie podcastu Panoptykon 4.0 – rozmowę z prof. Davidem Lyonem, który badania nad nadzorem zaczął na długo przed powstaniem Fundacji Panoptykon, jeszcze w latach 80. Dlaczego nie dostrzegamy codziennego nadzoru, czym różnią się chińskie i zachodnie cyberkorporacje, czy już wkrótce wszyscy będziemy „dataistami”?
Podcastu posłuchasz na naszej stronie, za pośrednictwem kanału RSS Panoptykon 4.0 i na portalu TOK FM. Tym razem dołączamy też nieco rozszerzoną transkrypcję całego odcinka. 
[Transkrypcja]
Fundacja Panoptykon: Witam w specjalnym wydaniu podcastu Panoptykon 4.0. Ponieważ nasz gość mówi po angielsku, postanowiłam poprowadzić tę rozmowę w tym języku. Mam nadzieję, że nie przysporzy wam to problemów, ponieważ rozmowa będzie dotykać bardzo interesujących, bieżących i wartych omówienia spraw. Jest mi niezwykle miło dołączyć w Krakowie do Davida Lyona, dyrektora Surveillance Studies Centre i profesora socjologii w Queen’s University w Ontario w Kanadzie, którego uważam za ojca badań nad nadzorem. Dla nas w Panoptykonie był zawsze ważną postacią, mentorem, który uczył nas, jak myśleć, jak formułować nasze myślenie na temat współczesnych form inwigilacji. Witamy, David.
David Lyon: Dziękuję.
P: Dziękuję, że dołączyłeś do mnie podczas swojego krótkiego pobytu w Krakowie. Przygotowując się do naszej rozmowy, oczywiście musiałam sięgnąć daleko w przeszłość. Historia Panoptykonu zaczęła się dekadę temu, podczas gdy Twoje badania nad inwigilacją i teorie na temat nadzoru sięgają lat 80., kiedy byłam dzieckiem. Opracowałeś tę ideę, zanim jeszcze wpadliśmy na to, żeby rozpocząć naszą pracę w Polsce jako aktywiści i prawnicy. Dlatego właśnie mam ogromny szacunek do Twojej pracy. Twoja książka The Electronic Eye: The Rise of Surveillance Society została wydana w 1994 r. Panoptykon zarejestrowaliśmy jako oficjalną organizację piętnaście lat później. Wybraliśmy wtedy panoptykon jako metaforę nadzoru, w którym jesteśmy zanurzeni. Inspirowaliśmy się foucaultowską teorią władzy przepływającej między ludźmi, działającej na zasadzie metafory więzienia doskonałego, gdzie otaczają nas wiecznie niewidoczni strażnicy. Nigdy nie wiemy, kto nas obserwuje, nie wiemy, kto kontroluje nasze zachowania, wskutek czego sami coraz bardziej kontrolujemy siebie samych, staramy się dostosować do oczekiwanych norm nawet wtedy, gdy nikt nie mówi nam wprost, jak takie normy miałyby wyglądać. Ta metafora zainspirowała nas dziesięć lat temu, kiedy powstawał Panoptykon. Mam wrażenie, że w dzisiejszych czasach życie się zmienia i nowe metafory muszą dotrzymać mu kroku. Jakiego przykładu użyłbyś dzisiaj, aby opisać przepływ i wpływ władzy w kontekście nadzoru?
D: Świetne pytanie. Pozwól, że na początku okrążymy temat, aby potem wrócić prosto do niego. To ciekawe, że wspomniałaś o Electronic Eye z 1994 r. Z biegiem czasu i wraz z rozwojem technologii obserwacji musiałem nauczyć się wielu nowych rzeczy, w związku z czym moja obecna definicja nadzoru nie pokrywa się z tą z 1994 r. W wydanej w zeszłym roku książce The Culture of Surveillance nawiązuję do innego rodzaju definicji, która zawiera w sobie nie tylko postrzeganie inwigilacji jako odgórnego procesu – czyli [tego], jak jesteśmy obserwowani – ale również [jako] partycypacyjnej, naturalnej inwigilacji, w której wszyscy uczestniczymy. Teraz zatem opisuję nadzór jako działania i doświadczenia analizy zbiorów i wykorzystywanie osobistych danych. Tak czy inaczej musiałem zmienić swoje podejście, ponieważ świat poszedł naprzód i trzeba opracować nowe metafory.
Jeśli chodzi o nową książkę, to przypomniałaś mi zabawną anegdotę. Pozwól, że opowiem Ci o książce: zaprowadzi nas to prosto do kwestii metafory… może nie metafory, ale ikony. W 1994 r. największym problemem było CCTV, monitoring za pomocą kamer.
P: To one sprawiły, że oko stało się symbolem władzy.
D: Zgadza się. Monitoring wideo był wtedy najbardziej istotny. Kilka lat temu, kiedy udzielałem wywiadu w Rio de Janeiro, zostałem zabrany na dach hotelu i dziennikarka z „O Globo” chciała mnie sfilmować – zrobić zdjęcia, które unaoczniłyby czytelnikowi gazety istotę tego, czym się zajmuję. Zapytała więc obsługę hotelową o możliwość pożyczenia starej kamery nadzorczej na potrzeby sesji. Pomyślałem sobie wtedy: „O mamo, chyba wiem, dokąd to zmierza!”. I znalazła kamerę! Więc nagle mamy kamerę. Wróciliśmy na dach hotelu, gdzie zamierzała mnie sfotografować na tle Rio, po czym kazała mi chwycić kamerę i nakierować ją sobie głowę, jak gdybym mówił: „Dobra, więc to jest ten koleś od nadzoru”. I myślę sobie w głębi: „Chyba nie jestem do tego przekonany…”. Nowa książka, The Culture of Surveillance, jest w całości poświęcona nadzorowi w dobie smartfonów.
P: Urządzeń, które zabieramy ze sobą z własnej woli, których nikt nie kieruje w stronę naszych głów, nikt nie ukrywa ich przed nami, udając, że nic się nie dzieje. A jednak – chcemy je mieć. Często nawet odchodzimy od zmysłów, kiedy stracimy smartfon.
Nie będzie przesadą powiedzieć, że każdy z nas nosi ze sobą urządzenie szpiegujące.
D: Właśnie. Ja nazywam to urządzenie osobistym aparatem śledzącym. Nie będzie przesadą powiedzieć, że każdy z nas nosi ze sobą urządzenie szpiegujące. Oczywiście, gdy pojawia się w reklamach, nazywane jest smartfonem. Tak więc napisałem książkę i wysłałem ją do wydawcy. Skontaktował mnie z projektantem, który z kolei wyszedł z pomysłem okładki. Widać na niej dwie kamery monitoringowe, zgadza się? Kamera dalej pozostaje ikoną, a my nie posiadamy jeszcze wyczucia dostrojonego do współczesnego nadzoru, który wykorzystuje oczywiście monitoring kamerami, CCTV, smart CCTV…
P: Smart pozwala na rozpoznawanie twarzy.
D: Co nie wyklucza tego, że jesteśmy obserwowani poprzez nasze dane. Nasze dane obserwują nas. Nie tak bardzo, nie w takim stopniu, co kamera, która nie jest już najważniejszym instrumentem. Najważniejsze są dane, a szczególnie dane przesyłane za pomocą telefonów komórkowych. Pytałaś o metafory, a ja odpowiedziałem ikonami, bo w historii technologii bardzo często nazywamy rzeczy słowami kojarzonymi z minionymi czasami zamiast używać terminologii współczesnej rozwojowi technologicznemu. Z tego powodu nazwaliśmy to urządzenie smartfonem, a mówimy po prostu „telefon”. [A przecież] telefon to tylko jedna, bardzo nieznaczna funkcja tego urządzenia.
P: Niektórzy nawet ją wyłączają, bo nie korzystają z telefonu.
D: Właśnie. Zatem, gdy na początku XX w. wynaleziono samochód, jak nazwali go współcześni? Nie samochodem, nie automobilem – nazwali go bezkonną dorożką. Wciąż używali starego pojęcia, które nawiązywało do starej technologii. Nie myśleli o wszystkich tych rzeczach, które (nawet w pionierskich latach) były konieczne, aby samochody mogły sprawnie funkcjonować. Teraz, w XXI w., widzimy miasta zbudowane dla ruchu samochodowego. W podobny sposób nasze życie jest teraz ustrukturyzowane wokół sieci aktywności smartfonów – a my nadal nazywamy je telefonami.
P: Czy w pewnym momencie zdamy sobie sprawę z tego, że obserwacja jest kluczową funkcją tego urządzenia, i wymyślimy dla niego nową nazwę?
D: Prawdę mówiąc, to dosyć skomplikowane. Myślę, że ważne jest, aby popatrzeć na to przez pryzmat mentalnego dystansu między nami a rzeczywistością technologii. To właśnie powinna być ikona, powinni byli umieścić smartfon na okładce mojej książki, a zamiast tego wybrali kamerę. Widać tu wyraźnie tę umysłową przepaść. Jeśli mamy naprawdę zrozumieć świat, w którym żyjemy, musimy pokonać tę przepaść, ten umysłowy dystans. I to wydaje mi się zupełnie zasadnicze, dlatego właśnie musimy myśleć w kategoriach metafor, objaśnień, definicji etc., które będą nawiązywać do dnia dzisiejszego, a nie opierać się na przeszłości.
P: Wszystkie współczesne zjawiska, które tu omawiamy, są tak bardzo abstrakcyjne, niezrozumiałe, niewidzialne bez odpowiednich metafor i czegokolwiek, co człowiek mógłby sobie wyobrazić. To jak więzienie, wspomniana wcześniej koncepcja więzienia doskonałego. Przykład panoptykonu był użyteczny, nawet jeśli nie obrazuje tego, jak naprawdę działa dziś władza: umożliwiał ludziom konceptualizację własnego uwięzienia, bycia obserwowanym, kontrolowanym. I chociaż moglibyśmy rozwinąć temat niezliczonych małych Wielkich Braci, którzy nas podpatrują, naszej podwójnej roli jako obserwowanych i obserwujących, nadzorowanych i nadzorców, to chciałabym skierować naszą rozmowę na tematy przemiany naszego zachowania, którą widzę jako istotny czynnik w relacjach ludzi z technologią. Ta ostatnia nie tylko nas nadzoruje, nie tylko zbiera nasze dane, które następnie może wykorzystać i wykorzysta przeciwko nam, nie tylko modyfikuje nasze zachowanie – sam fakt korzystania z niej i moderowania naszego zachowania przy jej pomocy zmienia sposób, w jaki się komunikujemy.
Po przeczytaniu kolejnej ważnej książki Liquid Surveillance, którą napisałeś wspólnie z Zygmuntem Baumanem, odczułam wielką ulgę, że ktoś prowadzi kontrnarrację wobec Facebooka, podważając jego wypracowany wizerunek jako przestrzeni społecznościowej i demaskując go bezpardonowo jako zwykłe targowisko, na którym kupczymy naszą prywatnością i uwagą. Wymieniamy między sobą różnorodne usługi, ale są one tak naprawdę napędzane przez machinę rynkową, a nie jakiekolwiek społecznościowe pobudki. Ale na Facebooku przynajmniej kontaktujemy się ze sobą. Wyobrażam sobie, że w miarę przechodzenia od Facebooka do innych aplikacji przydatnych w nawigowaniu po mieście, zakupach, rezerwacji biletów i w tym, czym akurat musimy się zająć, ludzie w istocie unikają relacji interpersonalnych i coraz częściej kontaktują się wyłącznie z technologią, z aplikacją oferującą pożądaną usługę. W jaki sposób zmienia nas to jako ludzi lub jako społeczeństwo?
D: To dosyć przerażające w niektórych aspektach. Mieszkamy na samym skraju parku, więc przez okna w naszym domu cały czas widzimy spacerujących ludzi. W ostatnim czasie bardzo często widzimy, jak ludzie – również ojcowie i matki w towarzystwie dzieci – chodzą przez park i w ogóle nie kontaktują się ze sobą. Dzieci są jakby obok nich, a oni sami pochłonięci są przez to, co dzieje się na ekranie, który trzymają w dłoni.
P: Często robią zdjęcia swoim dzieciom, więc w jakiś sposób są zainteresowani ich zachowaniem, chociaż bez rzeczywistego kontaktu.
D: Ludzka komunikacja: ten bezpośredni kontakt, który mógł tam się pojawić podczas spaceru, tego nam właśnie brakuje.
Tak, [smartfon] ma ogromny wpływ na to, jak komunikujemy się ze sobą. To nie znaczy, jak mi się wydaje, że hasła Zuckerberga o łatwości kontaktowania się z tymi, których kochamy, są – ot tak, po prostu – fałszywe…
P: Albo cyniczne.
D: Albo cyniczne, ponieważ w rzeczywistości zdarza się, że używamy tych platform w sposób, który (choć może niezamierzony przez twórców danego portalu) może stworzyć odpowiedni klimat dla sytuacji pomagających nam poradzić sobie w świecie, który stał się tak bardzo mobilny, gdzie tak trudno jest pozostać w kontakcie z ludźmi, gdzie nie mamy dawnego wsparcia i bliskości lokalnej społeczności etc.
P: Jeśli nie spotykamy się z naszymi bliskimi, ukochanymi osobami w fizycznej przestrzeni, wtedy staje się to… Czym dokładnie? Co się wtedy dzieje?
Bywa, że całe rodziny siedzą przy stole w restauracji i żadne z nich nie patrzy na pozostałych, cała piątka siedzi i patrzy na swoje urządzenia.
D: Wtedy związki zaczynają się rozpadać. Bywa, że całe rodziny siedzą przy stole w restauracji i – widziałem to na własne oczy – żadne z nich nie patrzy na pozostałych, nikt się z nikim nie komunikuje, cała piątka siedzi i patrzy na swoje urządzenia.
P: Czy możemy już… Czy wy, socjologowie, macie już możliwość zbadania tego zjawiska, czy jeszcze jest na to za wcześnie? Czy jesteśmy jeszcze tak zanurzeni w tym procesie, że nie można na tym etapie stwierdzić, w jaki sposób wpłynie to na nasze związki z ludźmi? Czy istnieją jakieś obserwacje, które mogłyby się obronić statystycznie?
D: Myślę, że naprawdę interesujące prace dotyczące dokładnie tego zjawiska już są prowadzone na poziomie rodzin i lokalnych społeczności. Mam kolegów, którzy pracują intensywnie nad badaniem, jak młodzi ludzie, tzn. młodzież licealna, reagują na nowe technologie, a szczególnie na ich nadzorcze aspekty. Parę miesięcy temu organizowaliśmy wydarzenie (takie publiczne spotkania są częścią naszej pracy badawczej) pod tytułem Teens Talk Tech (Młodzież Rozmawia o Technologii). Przyszła grupa nastolatków, którzy uczestniczyli w naszym projekcie badawczym. Zaprosiliśmy nauczycieli, rodziców i młodzież do przyjścia i zabrania głosu w dyskusji. Zaczęli opowiadać o poście medialnym, który przeprowadzili wcześniej. Ci młodzi ludzie spędzili cały tydzień bez kontaktowania się poprzez media społecznościowe i okazało się, że…
P: To chyba coś, co byłoby trudne również dla rodziców.
D: Właśnie! Wyszło na jaw, że nie mieli nawet możliwości uskutecznić pełnego i kompletnego postu, ponieważ wymagały tego ich kontakty z dorosłymi w codziennym życiu. Wszyscy muszą z nich korzystać do kontaktu z trenerem sportu, nauczycielem muzyki lub kimkolwiek innym. Jednak mimo tego ograniczenia wszyscy zadeklarowali, że spędzili tak mało czasu, korzystając z telefonu, jak tylko było to możliwe. Możliwości, które otworzyły się przed nimi w tygodniu, którego nie spędzili w całości przyklejeni do ekranu, wydały im się zupełnie niesamowite. Wyobraź sobie, 15- i 16-latki rozmawiające o tym, co odkryli. Odkryli! (śmiech)
P: Poprzez odłączenie się.
D: Odkrycia dotyczyły spotkań twarzą w twarz, przyjaźni – i to wszystko zaledwie po tygodniu medialnego postu. Ale wszyscy postanowili… Rozumiesz, cała grupa zebrała się, żeby porozmawiać, i wszyscy zdecydowali, że będą dużo bardziej ostrożni po zakończeniu medialnego postu, aby zachować część z tego, co okryli: bezpośrednie relacje, rozmowy, przyjaźnie, tego typu rzeczy. Zdecydowali, że dalej będą to robić. I jeszcze jedno interesujące spostrzeżenie spośród wielu. Kiedy ludzie zaczęli opuszczać salę i przechodzili nieopodal mnie – ponieważ byłem jednym z organizatorów, ktoś powiedział mi (gdy młodzież dalej dyskutowała): „Zacząłem kasować aplikacje na swoim telefonie”. Zatem dorośli również nauczyli się czegoś ważnego od dzieci. Więc tak, istnieją badania na ten temat, a część z tych badań jest bardzo praktyczna, bo może pomóc ludziom przemyśleć ponownie to, co robią z nowymi mediami, zamiast bezkrytycznie przyjmować założenia przedstawione w reklamach urządzeń, które „łączą nas z ukochanymi”. To pomaga zachować zdrowy sceptycyzm.
P: Zdecydowanie powinniśmy wypróbować ten eksperyment w Polsce. Obecnie w Panoptykonie używamy produktu stworzonego przez naszych przyjaciół z ogólnoświatowej organizacji Tactical Technology Collective, który nazywamy Data Detox Kit (Zestawem Detoksyfikującym od Danych). Jest tam dziesięć kroków lub siedem kroków, nie jestem pewna, które pomagają dorosłym nie tyle całkowicie się odłączyć, co odzyskać trochę kontroli. Teraz widzę już, że to nastolatki powinny być awangardą, że to do nich powinniśmy się zwrócić przed pracą z ich rodzicami.
Ale pozwól mi przywołać skrajnie odmienny przykład tego, co dzieje się teraz w Chinach. Mówię o systemie punktów społecznych, można powiedzieć: systemie zaprojektowanym jako system doskonały, umożliwiający pełną kontrolę ludzkich interakcji zarówno on- jak i offline. Poziom nadzoru ulicznego w Chinach, co prawda wykorzystujący przestarzałe kamery monitoringowe, o których wspominaliśmy wcześniej, jest niewyobrażalny. Ludzie podlegają nadzorowi zarówno w sieci, jak i poza nią. To wszystko dzieje się teraz, a kiedy na Zachodzie czytamy o tym systemie, o założeniach tego systemu, myślimy: „Wow, to właśnie jest dystopia, tak wygląda totalny nadzór wcielony w życie”. Gdy rozmawialiśmy, jak wspomniałam w naszym podcaście kilka tygodni temu, z ludźmi z Chin lub mającymi zrozumienie chińskiej kultury, wyciągali oni inne wnioski i przedstawiali odmienne narracje. Ich argumentacja brzmiała mniej więcej tak: „Potrzebujemy zaufania, potrzebujemy zbudować społeczeństwo oparte w większym stopniu na zaufaniu, ponieważ żyjemy w zepsutym społeczeństwie, gdzie interakcje niosą ze sobą ryzyko, gdzie ludzie nie wiedzą, jak rozmawiać ze sobą, jak działać razem”. Przykładowo: w sytuacjach rynkowych, gdy potrzebujemy pożyczyć pieniądze, kupić coś lub znaleźć pracę – tu właśnie brakuje tego zaufania i pewne formy działań, które my nazywamy nadzorem, mogą stanowić rodzaj narzędzia do „odwzorowania” ludzkiej istoty, przewidywania ludzkich zachowań, co z kolei może być pomocne w budowaniu zaufania i ułatwiać interakcje.
Kiedy uświadomiłam sobie, jak bardzo odmienna jest narracja w Chinach, zaczęłam zastanawiać się nad funkcją nadzoru: co właściwie nazywamy nadzorem i czym ostatecznie jest obserwacja, gromadzenie danych o człowieku. Czy możesz wyobrazić sobie kontekst, w którym produkowanie i zbieranie danych mogłoby w jakiś sposób przybliżyć nas do siebie lub umożliwić nam zrobienie rzeczy, które byłyby inaczej niewykonalne – podobnie jak w chińskiej narracji o poprawie interakcji, szczególnie w sferze rynkowej?
D: To bardzo ciekawe. Nie uważasz, że Chińczycy mają jasne pojęcie o tym, co chcą wyprodukować, jaki jest cel tego wszystkiego? W przypadku dużej części firm – platform, z którymi my się stykamy, bardzo trudno zrozumieć, czego tak naprawdę chce korporacja. Wiemy, co mówią; wiemy, co robią, ale niekoniecznie…
P: Oczekujemy, że chodzi o pieniądze, ale nie wiemy, co tak naprawdę te pieniądze za sobą niosą, co tak naprawdę dzieje się za kulisami.
Nauczyliśmy się zatem w zachodniej kulturze opierać nasze zachowania na systemie wykorzystującym karty kredytowe (...) To rodzaj technologicznego zaufania.
D: Chińczycy mają dużo jaśniejsze rozeznanie w tym, co chcą zrobić. Również zagadnienie zaufania i jego braku w chińskiej rzeczywistości wiąże się z tym, że – odmiennie niż w przypadku Chin – od lat 60. na Zachodzie karty kredytowe stały się szczególnie istotnym elementem zachodniego życia. Nauczyliśmy się zatem w zachodniej kulturze opierać nasze zachowania na systemie wykorzystującym karty kredytowe, które nigdy wcześniej nie istniały, na związanych z nimi kontaktach, transakcjach itd. Jest to rodzaj technologicznego zaufania, ale wciąż zaufanie wobec instytucji lub technologii pozostaje zaufaniem. Podobnie jak niezawodność, możliwość polegania na systemie lub osiągach systemu… Moglibyśmy o tym podyskutować. Ale Chińczycy mają jasny pomysł na to, co zamierzają z tym wszystkim zrobić, i to jest źródło wszystkich tych kontrastujących ze sobą opinii. Zachodnie media przedstawiają tę sytuację w bardzo dystopijnych barwach…
P: Jako ucisk.
D: Jako ucisk oraz represję. A Chińczycy mają inną interpretację wydarzeń.
P: Ponieważ mówią: „Chcemy zbudować lepsze społeczeństwo oparte na wartościach, w które wierzymy, zarówno politycznych, jak i ekonomicznych. Chcemy wzrostu ekonomicznego wraz z – cóż – zdecydowanie z kontrolą polityczną. To nie jest liberalne społeczeństwo, nikt nigdy nie twierdził, że ma być, więc…”. A jednak gdy zastanawiam się nad chińskim rozwiązaniem, od razu towarzyszy temu myśl o naszych systemach oceniania, systemach, które wyznaczają naszą wartość w społeczeństwie. Zaczęliśmy od wzmianki o Facebooku i myślę, że oboje zgadzamy się co do tego, że jest to w większym stopniu przestrzeń marketingowa niż cokolwiek innego – ale i w ramach tego targowiska jesteśmy oceniani. Nasza wartość zależy od lajków, rangi społecznej… Jak bardzo w zasadzie różnią się te dwa systemy? Mogą mieć różne funkcje, ale u podstaw każdego leży korekcja, zmiana ludzkich zachowań. Czy również widzisz takie podobieństwo?
D: Nie zapominajmy, że aspekt konsumencki jest również bardzo podobny. W dzisiejszych Chinach jesteśmy świadkami rządów autorytarnego kapitalizmu – ale to wciąż kapitalizm, wciąż opiera się na konkurencji. Tam też działają korporacje, i to ogromne korporacje.
P: I ludzie faktycznie odnoszą korzyści, ekonomiczne skapywanie faktycznie tam działa.
D: Tak, tak. Ale to wielkie korporacje i te właśnie ogromne zorientowane na konsumenta przedsiębiorstwa angażują się w system punktów społecznych, udział w nich mają m.in. tacy giganci jak Alibaba czy ZTE. Zatem patrząc na życie ludzi w ultranowoczesnym mieście, na przykład w Szanghaju, możemy zobaczyć ten niewyobrażalny konsumpcjonizm, który podejrzanie przypomina to, co dzieje się w niektórych zachodnich stolicach. Mieszkańcy Szanghaju są równie nastawieni na konsumpcję, a poza tym z tą samą ochotą uczestniczą w systemie oceniania i klasyfikacji.
P: W kieszeniach mają dokładnie te same smartfony.
D: Zgadza się. Także słyszałem o jednym badaniu, które ukazało, że Chińczycy już uczestniczący w systemie punktów społecznych są nim zachwyceni – ponieważ jest to kolejny sposób na podkreślenie ich progresywnych, przewidujących, społecznie mobilnych działań. Co się z tym wiąże: mimo że system zostanie oficjalnie uruchomiony dopiero w przyszłym roku, ludzie dołączają do niego już teraz i współzawodniczą ze sobą w sposób podobny do tego, w jaki ludzie na Zachodzie poszukują ulepszeń i starają się poprawić swoją…
P: Dołączają do Facebooka.
Inwigilacja zmusza również do ostrożności każdego, kto chciałby sprzeciwić się chińskim władzom
D: …wartość dla zatrudniającej ich korporacji i tak dalej.
Jak widzisz, możemy zobaczyć bardzo podobne cechy charakterystyczne w obu systemach. Ale Szanghaj to tylko jedno szczególne miejsce, które nagradza tych, którzy przyjmą konsumpcyjny światopogląd. Natomiast gdy zaczniesz przyglądać się niektórym mniejszościom wewnątrz Chin… Weźmy na przykład kościoły chrześcijańskie, które dominują w wielu miastach i obszarach wiejskich w całym państwie – stają się one coraz bardziej świadome tego, że zachowania propagowane przez system punktów społecznych niekoniecznie pokrywają się z tymi, które wspiera Kościół. Oni sami powiedzieliby, że chcą być dobrymi chińskimi obywatelami, ale nie chcą, żeby tożsamość chińskiego obywatela całkowicie definiowała ich życie. To jedna z grup. Do drugiej należą m.in. muzułmańskie mniejszości, szczególnie w północnych Chinach, w prowincji Xinjang, gdzie Ujgurowie nie tylko znajdują się pod natężonym nadzorem smart CCTV, rozpoznawania twarzy i innych tego typu technik; są reedukowani, przez co rozumiem zamykanie ich w centrach reedukacyjnych, a ich opcje życiowe dramatycznie się zawężają. To ich chińskie władze nazywają „ludźmi o dwóch twarzach” – z pozoru wydają się być obywatelami chińskimi, ale mają również inną twarz. I oczywiście jest to bardzo zagmatwana sytuacja. Natomiast sposób, w jaki są traktowani, jest niezwykle represyjny, co wynika z dokładnie tych samych właściwości systemu. Zatem jeśli dostrzegamy przejawy takiej googlowo-facebookowej mentalności w ocenianiu i systemach oceniania wielkich miast, takich jak Szanghaj, to musimy jednocześnie pamiętać, że zjawisko to ma także inne strony, przejawiające się odmiennym traktowaniem mniejszości.
Inwigilacja zmusza również do ostrożności każdego, kto chciałby sprzeciwić się chińskim władzom; dysydenci do wyboru mają albo zejście do podziemia, albo – jak w przypadku paru bardzo odważnych działaczy – muszą pokazać się publicznie i odbyć za to wyrok. Tak więc ten sam system działa na wiele różnych sposobów. Państwo wspiera też rozwój oddziałów Instytutu Konfucjusza na uniwersytetach i w placówkach szkolnictwa wyższego, działających równolegle do standardowej edukacji i mających ponownie na celu stworzenie nowego obywatela. Przypomina to uświęconą wersję wcześniejszej doktryny Mao, mającej na celu stworzenie nowego Chińczyka, idealnej istoty ludzkiej. Bardzo przypomina mi to wysiłki Mao na początku XX w.
P: To, co opisujesz, wyraźnie ukazuje, że w Chinach dominuje wizja lepszego człowieka i scentralizowanego społeczeństwa. Narzucana jest przez rządzących, którzy wielu – a być może nawet większość chińskich obywateli – mogą zachęcić, a innych, mniejszości, zmusić do podążania tą ścieżką.
Ale powróćmy teraz z powrotem na Zachód, gdzie przynajmniej wydaje nam się, że żyjemy w liberalnych demokracjach, czyli systemach, w których wizja społeczeństwa powinna być oddolna, gdzie to my jesteśmy sprawcami zmian, gdzie możemy powiedzieć naszym wybranym przedstawicielom: „To jest wizja społeczeństwa, do której chcemy dążyć”. Ale gdy pomyślimy o napędzanych nową technologią aplikacjach i portalach szpiegowskich, z których dobrowolnie korzystamy i które sami promujemy, biorąc udział w handlowej grze…
Jak bardzo jesteś przekonany o tym, że świadomie wybieramy pewną, lepszą dla nas wersję społeczeństwa, a na ile jest to jakiś rodzaj wizji, narzucony nie przez państwo, ale raczej przez korporacje sprzedające nam pragnienia samodoskonalenia, zachęcające nas do bycia bardziej efektywnymi, szybszymi, lepszymi. Patrząc na Zachód, zastanawiam się – czy naprawdę tacy jesteśmy? Czy to my sami chcemy odnosić sukcesy, narzucać większe tempo, współzawodniczyć? Czy może ktoś wcisnął nam tę narrację dawno temu, całe lata temu, a my jakby o niej zapomnieliśmy, kupiliśmy ją? Może tylko wydaje nam się, że mamy wolność wyboru, a tak naprawdę, podobnie jak Chińczycy, podążamy za narzuconą nam w jakiś sposób wizją.
D: Możesz tu zauważyć bezpośredni związek. Chińskie korporacje są bardzo chętne, aby sprzedawać wszelkiego rodzaju produkty na całym świecie. Chińskie systemy nie są wyłącznie dla Chin – zwróć uwagę na to, jak silny jest Huawei w Polsce.
P: Dopóki politycy nie zamkną przed nimi drzwi, dopóty będą tutaj.
D: Właśnie, a czasami są zapraszane bardzo serdecznie. W ostatnim czasie pojawił się artykuł o mieście Darwin w północnej Australii, gdzie w ramach liberalnej demokracji zastosowano pewien rodzaj inteligentnego nadzoru policyjnego, co ma bardzo rozległe implikacje. System zakupiony został bezpośrednio od Chin, a Chińczycy oczywiście sprzedają swoje produkty technologiczne również krajom globalnego Południa, na przykład państwom afrykańskim. Sprzedając technologię, których sami używają, tym samym promują…
P: Wydaje mi się, że zanim jeszcze chińskie przedsiębiorstwa zaczęły sprzedawać nam swoje smartfony, my już pozwoliliśmy sobie wcisnąć narrację amerykańskich korporacji, które obecne są u nas już od dwudziestu lat. Jeśli mielibyśmy szukać źródeł tego pędu do doskonalenia, prędkości, wydajności, to w pewien sposób jest on zakorzeniony w anglosaskiej wersji neoliberalnego kapitalizmu, koncepcji zarządzania sobą, czasem i swoją osobą w czasie, zarządzania swoimi relacjami. Tak naprawdę najbardziej boję się nie tego, że ktoś nas oszuka, że znajdziemy się pod butem potężnej korporacji lub państwa ze swoistą wersją systemu punków społecznych; najbardziej boję się tego, co już daje się zaobserwować w rzeczywistości: że narzucimy ten scenariusz sami sobie, wykorzystamy każde nowe narzędzie, czy to smartfon, czy to jakieś jeszcze nieistniejące urządzenie kontrolujące mój mózg. Bo przecież idziemy w tym kierunku, dążymy do posiadania mniejszych, lżejszych i tańszych gadżetów, które w końcu będą w stanie odczytać, co dzieje się w mózgu – a my, konsumenci, będziemy dalej ich pragnąć jako elementów stylu życia, sposobu na udoskonalenie siebie, ponieważ ktoś powie nam: „Hej, montując to urządzenie na swojej głowie, będziesz w stanie myśleć jaśniej, spać mniej, odżywiać się lepiej, a może nawet szybciej biegać”. Obawiam się, że będziemy wiecznie kierować się tą logiką. To samo zresztą wyczytałam między wierszami niezwykle popularnych książek Yuvala Harariego, który z jednej strony zdaje się krytykować człowieka za jego niedoskonałość, niedoskonałość biologicznej struktury, a jednocześnie przekonywać nas, że możemy uzyskać kontrolę za pomocą technologii, którą kontrolujemy, co zresztą zawsze uważałam za fikcję. Jak Ci się wydaje, gdzie zaprowadzi nas przyszłość?
D: Masz rację co do tego, że na przykład neuronauka staje się niezwykle ważna – sztuczna inteligencja opiera się szczególnie silnie na neuronauce. Dlatego Facebook ma własne laboratorium neuronaukowe na Manhattanie.
P: A Google pewnie ma dziesięć – albo nawet sto.
D: Całkiem możliwe. Ten pomysł jest niezwykle ważny, Shoshana Zuboff omawia go w Age of Surveillance Capitalism. Wolałbym, żeby pisała o tym w nieco bardziej zintegrowany sposób, pokazując, jak inni ludzie podchodzili do tego typu spraw, ale bardzo zdecydowanie wyraża się o sposobach, w jaki działa Google, oraz rosnącym oparciu w badaniach mózgu, skanowaniu mózgu, okulografii itd., pokazując, jak firmy starają się przekonać nas, że potrzebujemy nowego urządzenia, że musimy pójść w danym konsumpcyjnym kierunku. Ale myślę, że rodzi to fundamentalne pytania, podobnie jak książka Harariego. Nie przeczytałem wielu jego prac…
P: (śmiech) Bardzo szybko się czyta, może to pomysł na lekturę do samolotu.
D: …ale znam jego podstawowe przesłanki i też mnie trochę niepokoją. To znaczy, Harari pisze o upadku całej struktury tego, co nazywa humanizmem, w następstwie pojawienia się nowej religijno-naukowej idei dataizmu.
P: Kwestionuje również naszą spójność i pokazuje, że tak naprawdę nie ma niczego takiego jak esencja człowieczeństwa, a może nawet i świadomość… W porządku, istniejemy jako ludzie, jako biologiczne struktury, ale tym, co czyni nas unikalnymi, co umożliwia mi świadomy wybór sposobu, w który chcę żyć… wszystko to zasadza się na biologicznych i chemicznych procesach w moim mózgu, na które mogę wpływać – lub ktoś inny może wpływać – dla mojej korzyści. Bo chyba na tym polega sedno tego argumentu: „Czy umiemy wyobrazić sobie lepszą istotę ludzką powstałą w wyniku modyfikacji, czy na odwrót: mówimy kategoryczne »nie« modyfikacjom, ponieważ zmodyfikowani nie jesteśmy już ludzcy”? Być ludzkim to być niedoskonałym.
Polegamy na danych w religijny sposób, wierzymy w istnienie czegoś takiego jak surowe dane – co sam uważam za zupełną nieprawdę.
D: Ale jeśli sprowadzić to do dokładnie tego argumentu, do którego nawiązujesz, to mówimy o rzeczach związanych z filozofią, religią, wierzeniami duchowymi. Jak możemy działać w ludzki sposób bez skonfrontowania się ze wszystkimi tymi rzeczami? Jeśli rozumiem go dobrze, Harari naprawdę jest biologicznym deterministą, wierzy w to, że jesteśmy zdeterminowani przez procesy biologiczne, i to wydaje mi się zupełnie błędne. Zgadzam się z nim, gdy pisze o religii dataizmu, i chociaż nie zgadzam się z jego twierdzeniami, to przyznam mu, że poszliśmy w kierunku świata, w którym polegamy na danych w religijny sposób, wierzymy w istnienie czegoś takiego jak surowe dane – co sam uważam za zupełną nieprawdę.
P: Kiedyś istnieć będzie ogólna SI, która będzie podejmować najlepsze decyzje lub sugerować nam najlepsze decyzje na podstawie tych surowych danych, więc powstanie również źródło decyzji: jakby nowa instancja, nowy Bóg, do którego możemy się odwołać, kiedy nie wiemy, co zrobić. Gdy nie jesteś pewien, czy kontynuować podtrzymywanie życia osoby od wielu lat będącej w śpiączce, do kogo się zwrócisz? Spytasz SI, bo ona właśnie, nowy agent, będzie wiedziała lepiej od jakiegokolwiek człowieka, więc z pewnością idziemy w tym kierunku.
D: Właśnie, a także w innych przypadkach, na przykład w sprawach sądowych. Czy należy wypuścić osobę za kaucją, czy zatrzymać ją w więzieniu, czy też może, rozumiesz… Jest wiele spraw sądowych, które korzystają obecnie z aplikacji, co wiąże się ze sztuczną inteligencją, uczeniem maszynowym itd. – jak gdyby tkwiła tam ostateczna odpowiedź na wszystkie te pytania. Gdy ktoś taki jak José van Djick używa pojęcia „dataizm”, chce tym samym powiedzieć nam: „Tak, znajdujemy się w niebezpieczeństwie wtedy, kiedy zaczynamy wierzyć, że w jakiś sposób dane, surowe dane analizowane przez odpowiedni algorytm mogą zaowocować powstaniem lepszego świata”. Według mnie jest dokładnie na odwrót. Myśląc o istotach ludzkich, myślę o świecie ludzi, którzy z pewnością podejmują decyzję, ale są również istotami duchowymi. Teologowie pisali o imago Dei, obrazie Bożym, co wydaje mi się dużo bardziej produktywne, gdy zastanawiamy się: „OK, w jaki sposób ta technologia funkcjonuje w danej sytuacji, jaka jest tu rola danych?”. Jeśli ta idea czegoś w stylu obrazu Bożego jest w jakikolwiek sposób zasadna, oznaczałoby to, że nasza aktywność technologiczna to coś nakierowanego na wspólne dobro, robione dla drugiej osoby, w sposób nieskoncentrowany całkowicie na naszych osobistych decyzjach konsumenckich – i myślę, że zahaczamy tym samym o poruszoną wcześniej kwestię konsumpcjonizmu, bo cały gmach korporacyjny dotyczący platform zbudowany jest naokoło lub raczej na XXI-wiecznym konsumpcjonizmie, a teraz rozkwita – zresztą, może „rozkwita” nie jest tu najlepszym słowem (śmiech), to nieuczciwe w stosunku do kwiatów, żeby stosować to porównanie.
Tak czy inaczej, powinniśmy powiedzieć: wszystkie nasze wytwory, działania, technologia, produkcja itd. powinny służyć rozkwitowi ludzkości i planety. Powinniśmy robić rzeczy dla innych, a nie tylko kierować się tym, czego sami chcemy, potrzebujemy – lub wydaje nam się, że potrzebujemy. Wydaje mi się, że poruszamy tu fundamentalną kwestię, co zresztą bardzo mnie cieszy. Uważam, że kluczowe są tu pytania: „W jaki sposób decydujemy, gdzie chcemy dotrzeć? Jak technologia ma pomóc nam funkcjonować za pomocą inteligentnego algorytmu?”. Wydaje mi się, że w tym momencie powinniśmy zrobić krok do tyłu, ale oczywiście usłyszymy wtedy: „No tak, zawsze pozostaje kwestia ludzkiej ingerencji i tego, jak daleko powinna ona sięgać, kiedy przychodzi podjąć decyzje: medyczne, prawne, bardzo różne decyzje”.
P: Bardzo często jest to fałszywe przekonanie – obecny w systemie człowiek rezygnuje, wyłącza krytyczne myślenie, kiedy widzi sugestię potężnej SI. Ale istnieje również inny mit, niebezpieczeństwo, ukryta przesłanka w tym całym dataizmie, a mianowicie przeświadczenie o możliwości znalezienia każdej odpowiedzi w danych oraz założenie, że nie istnieje polityczny sprawca lub agent po stronie przedsiębiorstw odpowiedzialnych za algorytm, agregujących dane, wybierających dane do zebrania i projektujących systemy dla uzyskania konkretnych wyników.
Ludzie wierzą, że dane są czymś neutralnym, zasobem, który nas otacza lub który wytwarzamy, jak powietrze, woda lub ziemia. A przecież tak nie jest. To bardzo specjalny zasób, który już w momencie powstania może być nacechowany lub zabarwiony przez koncepcje polityczne, ekonomiczne, handlowe lub zwykłą stronniczość. Te przesłanki są na stałe wbudowane w system, wobec czego dyskutując o SI i danych w Panoptykonie, upewniamy się, że w centrum konwersacji zawsze znajduje się agent, firma, Google, Facebooki, Amazony – którykolwiek z graczy, który ma swoją własną logikę władzy i własny interes.
A teraz spróbujmy zakończyć tę rozmowę, bo choć bez wątpienia moglibyśmy dyskutować jeszcze godzinami…
D: Brzmi jak świetna zabawa! (śmiech)
P: …to musimy się wkrótce zatrzymać. Jednak wcześniej chciałam usłyszeć, co sądzisz o tych potężnych agentach. Jakie koncepcje pojawiają się w Kanadzie lub w Twoich kręgach intelektualnych, jak sobie z nimi radzić? Ponieważ w Europie mamy wyraźną tendencję do regulacji i staramy się regulować coraz lepiej. W przyszłym roku Komisja Europejska zaproponuje kolejny akt prawny dotyczący tych platform, starając się ograniczyć ich siłę. Czy tak należy się za to zabrać, czy masz inny pomysł?
D: Cóż, można zadać mnóstwo pytań dotyczących mitu neutralności danych, który poruszyłaś. Myślę, że jest on kluczowy, ale towarzyszy mu również idea technologicznej nieuchronności: „To musi się stać”. Możesz to usłyszeć w reklamach ulepszeń Apple i w przypadku tej firmy nie ulega wątpliwości, że nieuchronność faktycznie istnieje, że po iPhonie 11 pojawi się iPhone 12.
P: I jeszcze musimy być na bieżąco, inaczej nasze Apple przestają działać.
Technologiczna nieuchronność to jedna z najbardziej niebezpiecznych doktryn, ponieważ sugeruje, że w procesie produkcji technologii nie uczestniczą żadni agenci.
D: Apple prawdopodobnie już zaplanował datę premiery iPhona 12. Oni uwielbiają roztaczać tę aurę technologicznej nieuchronności: oto, co oferuje nam nowa technologia. Myślę, że technologiczna nieuchronność to jedna z najbardziej niebezpiecznych doktryn, ponieważ sugeruje, jak już wspomniałaś, że w procesie produkcji technologii nie uczestniczą żadni agenci. Technologia jest reklamowana, sprzedawana, a jednocześnie widać gołym okiem, jak wiele wysiłku wkłada się w planowanie, konstruowanie sytuacji takich jak premiera nowych aktualizacji Apple.
P: Czujemy się uwięzieni, jakbyśmy musieli uczestniczyć w tej grze.
D: Zgadza się. I tak [pojawia się] pojęcie technologicznej nieuchronności, przekonanie, że w jakiś sposób stanie się, co się ma stać, i musimy się z tym pogodzić… Nawet badacze prawa często wpadają w tę samą pułapkę i mówią: „No cóż…”.
P: Po prostu wymyślają nową regulację i zawsze mówią: „Och, już za późno”. Za późno na co?
D: No tak, nie jesteśmy w stanie za tym nadążyć. Wszystko dzieje się za szybko. Do tego ludzie stale podejmują decyzje, które pozwalają utrzymać status quo. Co prowadzi mnie do stwierdzenia, że musimy odzyskać sprawczość w bardzo, bardzo stanowczy sposób.
P: Czy według Ciebie da się to osiągnąć środkami prawnymi?
D: Ach, wydaje mi się, że tak. Sprawy, o których rozmawiamy, dotyczą niezmiernie ważnych kwestii dla ludzkości na całej Ziemi. W erze cyfrowej jesteśmy coraz bardziej poddawani datyfikacji, która jest wszechobecna i w niektórych aspektach bardzo sprzyja nadzorowi. Zatem mówimy o bardzo dużych rzeczach, ale jestem przekonany, że należy o nich myśleć właśnie w takich, szerokich kategoriach. Niewłaściwe jest wyobrażanie sobie, że istnieje jakiś magiczny sposób rozwiązywania tych sytuacji, osinowy kołek, który zakończy nasze problemy. To zupełnie nie tak. Ponieważ sytuacja jest tak bardzo złożona, musimy podchodzić do niej z wielu stron jednocześnie.
P: Często porównuję to do kryzysu ekologicznego, innego rodzaju kryzysu w środowisku, w którym żyjemy.
D: I właśnie ta analogia jest tu niezwykle pomocna. Musimy podejmować własne decyzje, kupując jedzenie w sklepie, gotując je czy utylizując opakowania – we wszystkich tych przypadkach. To zasadnicze decyzje, również dla przyszłości ludzkości.
P: Ale ważne tu są również znaczące decyzje polityczne, które umożliwiają działanie, czy to w produkcji dóbr, jak np. plastik, czy w wytwarzaniu danych. Ja sama chciałabym, aby potężni agenci wkroczyli do gry i powiedzieli „nie” niektórym praktykom charakterystycznym dla dominujących platform. Apple sprzedaje nam narrację, ale wcale nie musimy jej akceptować, możemy ją zakwestionować. Tak samo możemy zakwestionować działanie Facebooka jako zamkniętej platformy i domagać się otwartości; tak samo domagać się od Google’a, aby dla dobra społeczeństwa udostępnił nam dane zebrane o ludziach. Możemy osiągnąć te cele politycznymi metodami.
Platformy zawsze dążą do monopolizacji: sensem ich istnienia jest ustanowić monopol.
D: To znaczy, musimy również – jak już wspomnieliśmy na początku naszej rozmowy – radzić sobie z tym, co naprawdę dzieje się wokół nas w tej chwili. Platformy zawsze dążą do monopolizacji: sensem ich istnienia jest ustanowić monopol, taki jest ich plan, tak zostały zaprojektowane. Nie możemy zatem traktować ich w ten sam sposób, w jaki ruch antytrustowy w Stanach Zjednoczonych w XX w. starał się radzić sobie z wielkimi przedsiębiorstwami kolejowymi itd. To był inny rodzaj korporacji, ale nie oznacza to, że jesteśmy bezradni! Myślę, że jest miejsce na regulację, lokalne decyzje, nawet na skalę całego miasta. Wiadomo, że ludziom najbardziej zależy na własnym mieście i własnym otoczeniu (śmiech). Nie ma w tym nic złego. Ale uważam, że powinniśmy przyglądać się jednocześnie wielu poziomom naraz i każdemu poziomowi z osobna.
P: Czyli już na poziomie mojego własnego Detox Kitu, ale również na najwyższych politycznych, a nawet geopolitycznych poziomach, poziomach decydentów, którzy według nas powinni przyjąć właściwy stosunek do platform – i na każdym szczeblu pomiędzy.
D: Na każdym pomiędzy. Wiesz, [również na poziomie tego], w jaki sposób rodzice i dziadkowie rozmawiają ze swoimi dziećmi i wnukami na temat aktywności online, ekranów i tego, jak wgrać zdjęcia. Myślę, że na każdym poziomie musimy być dużo bardziej uważni, musimy wykształcić w sobie zmysł… Musimy zmniejszyć ten mentalny dystans, o którym mówiliśmy na początku. Nie myślmy tylko w kategoriach kamer wideo, myślmy: smartfony. To powinna być ikona nadzoru w XXI w.
Mierząc się z rzeczywistością taką, jaka jest, ale jednocześnie podchodząc do niej z dużym wyczuciem kierunku, w którym chcielibyśmy rozwijać się jako ludzkość, dbając o siebie nawzajem – w ten sposób możemy podkopać jeden z kluczowych aspektów wszystkich systemów nadzoru, czyli próbę podzielenia społeczeństwa na grupy i traktowanie niektórych grup zdecydowanie lepiej, przy jednoczesnej marginalizacji i narażaniu innych. Te ważne zjawiska występują w Chinach, ale również w Polsce i w Kanadzie. Systemy oceniania i klasyfikacji są nastrojone tak, aby nagradzać grupy zachowujące się zgodnie z celami systemu. I to właśnie, według mnie, jest jednym z największych wyzwań stojących przed nami, niezależnie od tego, czy mówimy o świecie konsumpcyjnego kapitalizmu na Zachodzie, czy o autorytarnym kapitalizmie w Chinach. W każdym przypadku powinniśmy zadawać te pytania i konfrontować się z wyzwaniami na każdym możliwym poziomie.
P: Dziękuję, że zamiast udzielić nam prostych wytłumaczeń ukazałeś pełen obraz, a raczej pełną skalę wyzwania, z którym musimy się zmierzyć jako ludzkość, niezależnie od kraju: w Kanadzie, w Chinach i w Polsce. Było wspaniale zanurzyć się tak głęboko w tej bardzo skomplikowanej sieci nadzoru i dowiedzieć się, jak można myśleć o tym problemie, jak go konceptualizować. Twoje praktyczne rady są dla nas wszystkich czymś w rodzaju zimnego prysznica, wskazówką, że należy działać teraz, że nie można uciec przed problemami, mówiąc: „A tam, ktoś inny coś na to poradzi” lub „Po prostu kupię nowy smartfon”, bo nie rozwiąże to naszych problemów. Dziękuję Ci, David, bardzo miło było mi dziś porozmawiać z Tobą i mam nadzieję, że nie jest to nasza ostatnia rozmowa na ten temat – obawiam się, że temat pozostanie aktualny.
D: Ja również. Dziękuję za rozmowę.
P: Byłam tu z Davidem Lyonem. Nazywam się Katarzyna Szymielewicz, słuchacie specjalnej edycji podcastu Panoptykon 4.0. Dziękuję za uwagę.
Tłumaczenie: Stanisław Arendarski
Redakcja: Urszula Dobrzańska
Dodaj komentarz