Sztuczna inteligencja, ale prawdziwa dyskryminacja. Jakie są potencjalne zagrożenia wynikające z AI?24.05.2021

Sztuczna Inteligencja (AI) zmienia rzeczywistość na naszych oczach. Dla wielu stanowi obietnice stworzenia lepszego świata, ale coraz trudniej ignorować zagrożenia, które każą kwestionować jej z założenia neutralną naturę. O problemach związanych z rozwojem sztucznej inteligencji rozmawiamy z Anną Obem oraz Karoliną Iwańską z Fundacji Panoptykon.
 

W ostatnich latach coraz częściej mówi się o dyskryminujących systemach AI. Świat obiegały już informacje o niefunkcjonalnych systemach rozpoznawania twarzy, dyskryminujących metodach przeprowadzania rozmów rekrutacyjnych i zatrudniania, a także o aplikacjach, które w oparciu o stereotypy mają przewidywać przestępczość. A to tylko część problemów. Dlaczego systemy sztucznej inteligencji nie traktują wszystkich w równy sposób?

Anna Obem: Zapomniałeś jeszcze o systemach rozpoznawania głosu, stosowanych chociażby w samochodach, które nie reagują na głosy kobiet. Sztuczna inteligencja jest tak „mądra”, jak zaprogramuje ją człowiek. System wytrenowany na niekompletnych czy błędnych danych, niezależnie od sytuacji, po prostu nie będzie działał prawidłowo. Narzędzie do rozpoznawania twarzy wytrenowane na zbiorach, w których przeważają zdjęcia białych mężczyzn w średnim wieku, gorzej poradzi sobie ze zdjęciami czarnych kobiet. System rozpoznawania głosu wytrenowany na męskich próbkach, nie rozpozna wyższego głosu kobiety. Identycznie działa to przy systemach takich jak COMPAS, który w Stanach wykorzystywany jest do przewidywania, czy dana osoba popełni przestępstwo po raz drugi. On również powiela systemowe uprzedzenia obecne w amerykańskim systemie sprawiedliwości i osoby czarnoskóre, ale też kobiety i osoby młode, traktuje surowiej niż białych mężczyzn.

Te wszystkie przypadki często przewijają się w kontekście tzw. „skrzywienia algorytmicznego”. Na czym dokładnie polega to zjawisko?

AO: Do wytrenowania sieci neuronowej, czyli złożonego, uczącego się modelu statystycznego, potrzebna jest odpowiednio duża liczba przykładów, o dużej różnorodności, które pozwolą wykryć najdrobniejsze zależności. Zbyt mały, nie dość różnorodny i nieaktualizowany zbiór danych prowadzi do tego, że system popełnia błędy, tworząc skrzywienie. Badacze z Uniwersytetu w Waszyngtonie celowo „skrzywili” algorytm, którego zadaniem było klasyfikowanie zwierząt na zdjęciach – wilków i psów rasy husky. Dane treningowe obejmowały 20 zdjęć wilków – wszystkie w tle miały śnieg. Co się wydarzyło? Wytrenowany na takich danych algorytm zwierzęta występujące na tle śniegu oznaczał zawsze jako wilki – zwracając uwagę tylko na tło, a nie na cechy charakterystyczne zwierzęcia. 

Czy potrafimy zmierzyć, na ile dany system jest uprzedzony?

AO: To, co można zrobić, to zmierzyć, w jakim stopniu system daje wyniki fałszywie pozytywne oraz fałszywie negatywne w odniesieniu do różnych grup danych. Wynik jest fałszywie pozytywny, kiedy np. system wskazuje, że czyjś wizerunek pasuje do wizerunku złodzieja uchwyconego przez kamery monitoringu, podczas gdy są to różne osoby. Fałszywie negatywny – kiedy nie łączy dwóch wizerunków, które de facto są wizerunkami jednej osoby. Każdy algorytm ma jakiś margines błędu.

Skąd zatem bierze się to algorytmiczne skrzywienie poznawcze?

AO: Z uprzedzeniem mamy do czynienia wtedy, kiedy proporcja fałszywych wskazań zależy np. od koloru skóry, płci czy wieku osób na zdjęciach. Inny przykład: dziennikarze zbadali, że wspomniany system COMPAS miał 32,35% wskazań fałszywie pozytywnych i 37,4% fałszywie negatywnych. Ale gdy przeanalizowano proporcję błędów wobec czarnoskórych, okazało się, że procent wskazań fałszywie pozytywnych wynosi 44,85%, fałszywie negatywnych – 27,99%. W stosunku do białych te proporcje były niemal odwrotne: 23,45% wskazań fałszywie pozytywnych i 47,72% fałszywie negatywnych. Czyli system w większym stopniu mylił się na korzyść białych i na niekorzyść czarnych oskarżonych.

System to narzędzie stworzone przez ludzi: ktoś go zamawia, ktoś programuje, ktoś wybiera dane treningowe, ktoś testuje. Ktoś inny podejmuje decyzję, jakie błędy są dopuszczalne, a jakie nie. Warto zacząć od pytania, do jakich zadań wykorzystujemy sztuczną inteligencję.

 

Kto powinien ponosić winę za występowanie tego procesu – sam twórca algorytmu, czy może „złe dane”, którymi system się posiłkuje?

AO: Jak wspomniałam wcześniej, system to narzędzie stworzone przez ludzi: ktoś go zamawia, ktoś programuje, ktoś wybiera dane treningowe, ktoś testuje. Ktoś inny podejmuje decyzję, jakie błędy są dopuszczalne, a jakie nie. Warto zacząć od pytania, do jakich zadań wykorzystujemy sztuczną inteligencję. To nie jest magiczna różdżka, która rozwiąże wszystkie nasze problemy. Ma swoje zalety, ale też poważne ograniczenia.

Na przykład?

AO: Najlepiej sprawdza się w zadaniach polegających na wykrywaniu wzorców i prawidłowości – tzw. korelacji statystycznych – w dużych zbiorach danych. Całkiem nieźle radzi sobie z rozróżnianiem obiektów na zdjęciach, chociaż zdarza jej się pomylić kota z croissantem, a psa z mopem. Takie pomyłki mają różną wagę: gdy pomyli się AI wykorzystywana do rozpoznawania tekstu przy cyfryzacji starych tekstów, będzie to wyłącznie błąd w tekście. Ale gdy pomyli się system rozpoznawania obrazów w autonomicznym samochodzie, to może skończyć się tragicznie. To, że automatyczne dystrybutory mydła nie „widzą” czarnej dłoni jest żenujące, ale kogo winić, kiedy policja aresztuje człowieka, bo system wskazał, że jego wizerunek pokrywa się ze zdjęciem zrobionym podczas kradzieży w sklepie – szczególnie, że ludzkie oko nie musi się specjalnie wpatrywać, żeby orzec, że to dwie różne osoby? Policjantów, którzy wbrew procedurze nie porównali zdjęć? Nie sprawdzamy na papierowej mapie, czy trasa wyznaczona przez aplikację jest naprawdę optymalna, tylko ufamy jej ślepo. Dlaczego policjanci nie mieliby ufać systemowi za miliony dolarów? Otóż dlatego, że technologia nie jest nieomylna – jest tak samo niedoskonała, jak my – ludzie którzy ją stworzyli.

Uczciwość i stronniczość to prawdopodobnie najczęściej omawiane kwestie etyczne związane z współczesnymi algorytmami. Co sprawia, że są tak istotne?

AO: Entuzjaści AI twierdzą, że jest wolna od uprzedzeń i naprawi problemy ludzkości. Przykłady takie jak COMPAS pokazują, że wcale tak nie jest. Dyskryminujące algorytmy to problem nie tylko w USA, ale też w Europie: wystarczy przypomnieć algorytm wykorzystywany w Wielkiej Brytanii do wystawiania ocen, który obniżał oceny zdolnym uczniom ze szkół w mniejszych miejscowościach i biedniejszych dzielnicach, a podwyższał oceny kiepskim uczniom elitarnych prywatnych szkół. Z jednej strony mamy więc te poważne w skutkach błędy, a z drugiej głosy, żeby zastąpić urzędników algorytmami, bo są wolne od uprzedzeń. Nie są. Co więcej ich działanie często jest ukryte, bo firmy, które je tworzą, nie chcą ujawniać swoich technologii. Instytucje państwowe też nie zawsze chcą informować, co stało za ich decyzjami. Jeśli damy się przekonać, że powinniśmy zastąpić decyzje ludzi decyzjami algorytmów, możemy skończyć – dosłownie – w rzeczywistości na miarę Procesu Kafki.

Gdyby ludzie dokładniej wiedzieli, jak działają systemy rekomendacji treści na platformach streamingowych czy dopasowywanie reklam w sieci, mogliby zyskać zupełnie nowe spojrzenie na to, jak te systemy wpływają na zamykanie ich w bańkach informacyjnych albo w jaki sposób grają na ich słabościach.

 

Czy można sprawić, żeby systemy AI stały się bardziej sprawiedliwe? Być może pomocna w rozwiązaniu tego problemu byłaby większa transparentność AI, która pozwoliłaby nam lepiej zrozumieć w jaki sposób funkcjonuje?

AO: Wokół systemów AI narósł mit tzw. czarnych skrzynek – często słyszymy, że obliczenia wykonywane przez wykorzystywane w systemie modele statystyczne są zbyt skomplikowane, żeby człowiek mógł je prześledzić. To oczywiście prawda, ale obliczenia to tylko jeden z elementów systemu. Przede wszystkim powinien być jasno sprecyzowany cel, jakiemu taki system służy. Ponownie wracając do przykładu amerykańskiego COMPAS-u: jeśli w wymiarze sprawiedliwości wykorzystywany ma być system do oceniania prawdopodobieństwa recydywy, to ważne jest określenie, czy jego celem jest zatrzymanie w więzieniach wszystkich osób potencjalnie niebezpiecznych, czy w drugą stronę – wypuszczenie na wolność wszystkich osób, co do których nie ma pewności, że znów popełnią przestępstwo. Są też inne ważne aspekty systemu: kto go zamawia? Na jakich danych został wytrenowany? Jakie błędy popełnia i jakie zostały uznane za dopuszczalne? Czy są jakieś grupy osób, wobec których system myli się częściej?

Niepokojąco dużo jest tych niewiadomych.

AO: Tak, to prawda. Niemniej taka wiedza by się nam przydała – nie tylko jeśli chodzi o algorytmy wykorzystywane przez państwo. Gdyby ludzie dokładniej wiedzieli, jak działają systemy rekomendacji treści na platformach streamingowych czy dopasowywanie reklam w sieci, mogliby zyskać zupełnie nowe spojrzenie na to, jak te systemy wpływają na zamykanie ich w bańkach informacyjnych albo w jaki sposób grają na ich słabościach.

Jak gromadzenie dobrze dopasowanych danych mogłoby pozytywnie wpłynąć na uczciwość AI?

AO: Do odpowiedniego wytrenowania algorytmu uczenia maszynowego potrzebny jest odpowiednio liczny i różnorodny zbiór danych treningowych. A do tego powinny być odpowiednio przeprowadzone testy, w których projektanci sprawdzą, jakiego rodzaju błędy system popełnia i wykluczą np. nierówne traktowanie jakiejś grupy. Potrzebny jest też stały nadzór nad tym, czy wraz z napływem nowych danych system dalej działa poprawnie.

W jaki sposób na tego typu problemy odpowiada branża nowych technologii?

Karolina Iwańska: Moda na sztuczną inteligencję nie sprzyja czasem refleksji nad tym, jak te systemy wpływają na ludzi. Kilka miesięcy temu podczas festiwalu Docs Against Gravity polscy widzowie mogli obejrzeć dokument iHuman, poświęcony rozwojowi sztucznej inteligencji. Wywiady z naukowcami i właścicielami najpotężniejszych firm rozwijających AI porażały butą. Przypominały historię doktora Frankensteina, który owładnięty idée fixe powołuje do życia potwora. Z drugiej strony, w branży powstają dziesiątki standardów i kodeksów dobrych praktyk, które poprzez dobór i czyszczenie danych mają zapewnić bezpieczeństwo i odporność systemów na tego typu wpadki. Te inicjatywy często sprowadzają się jednak do czysto technicznych rozwiązań, które mają zapobiegać uprzedzeniom, ale już nie zachęcają do namysłu nad tym, jak same podstawowe założenia systemu i cele, które realizuje, wpływają na prawa i wolności ludzi. Weźmy za przykład systemy rozpoznawania emocji. Czy jeśli będą rozpoznawały twarze czarnoskórych kobiet z taką samą dokładnością jak twarze białych mężczyzn, oznacza to, że akceptowalne będzie dla nas wykorzystywanie ich do monitorowania zadowolenia pracowników albo wystawiania uczniom i uczennicom ocen z zachowania?

Gdzie w takim razie szukać optymalnego rozwiązania?

KI: Dyskusja skupiona na eliminowaniu uprzedzeń (tzw. debiasing) ma swoje ograniczenia. Powinniśmy również rozmawiać na wyższym poziomie – jakie użycia AI są w ogóle społecznie akceptowalne, a jakie nie? Nie bez powodu to San Francisco, kolebka wszelkich tech-innowacji, jako pierwsze wprowadziło moratorium na używanie systemów rozpoznawania twarzy w miejscach publicznych. Miejmy nadzieję, że Europa pójdzie ich śladem, o co apelują m.in. organizacje pozarządowe, w tym Panoptykon, w kampanii Reclaim Your Face. 

Jeśli system narusza godność człowieka albo powoduje wysokie ryzyko, którego nie da się zminimalizować, jego użycie nie powinno być dopuszczalne.

 

Algorytmy już teraz podejmują wiele istotnych i ważnych z perspektywy człowieka decyzji. Jaką rolę w tej technologicznej burzy pełnią regulacje?

KI: W rozmowach o regulacji AI często słychać głosy ze strony niektórych firm i polityków, że to bariera dla innowacji i osłabienie konkurencyjności. My tymczasem postrzegamy regulację jako niezbędny element do zagwarantowania, by ten technologiczny rozwój przebiegał z poszanowaniem praw i wolności człowieka. Nie chodzi o to, żeby regulować samą technologię czy możliwość prowadzenia badań w obszarze sztucznej inteligencji, ale jej wykorzystanie w konkretnym celu. Regulacja powinna więc pełnić rolę „pasów bezpieczeństwa” dla systemów, które mają wpływ na ludzi i mogą nieść za sobą ryzyko dla ich praw i wolności. Poza konkretnymi wymogami, jeśli chodzi o reprezentatywność danych czy sposób oceny ryzyka, bardzo ważne jest to, żeby regulacja jasno określała granicę, za którą wykorzystanie AI po prostu staje się nielegalne. Jeśli system narusza godność człowieka albo powoduje wysokie ryzyko, którego nie da się zminimalizować, jego użycie nie powinno być dopuszczalne.

Dlatego niezależnie od tego, kto rozwija lub wdraża AI, wszystkie systemy, które mają potencjał wpływania na ludzi i na ich życie, powinny podlegać pewnym zasadom.

 

Kto ma mieć embargo na rozwój potężnego narzędzia, jakim jest sztuczna inteligencja i uczenie maszynowe? Czy ma to być sektor prywatny reprezentowany przez technologicznych gigantów takich jak GAFAM (Google, Amazon, Facebook, Apple i Microsoft), czy też kierunek powinny nadać mu rządy i państwa?

KI: Technologiczni giganci mają największe zasoby na eksperymenty związane z AI. I to nie tylko ludzkie i finansowe, ale też związane z danymi pochodzącymi z obserwacji milionów użytkowników i użytkowniczek, które są wykorzystywane do trenowania systemów. Klikając w hydranty w Google Captcha pewnie nie zdajemy sobie sprawy z tego, że pomagamy w ten sposób trenować algorytm rozpoznawania obrazów, który może być potem wykorzystany w autonomicznych pojazdach, a biorąc udział w facebookowym wyzwaniu 10 Year Challenge uczymy algorytm rozpoznawać twarze ludzi w różnym wieku. Wbrew pozorom prywatne korporacje nie tworzą systemów AI tylko na swoje potrzeby. Coraz częściej z ich rozwiązań – po dostosowaniu do swoich potrzeb – korzystają organy państwowe, które nie dysponują takimi zasobami. Amerykańska policja stosowała na przykład system rozpoznawania twarzy stworzony przez Amazona. Jednak pod wpływem masowych protestów pod hasłem Black Lives Matter, które zwracały uwagę na systemowy rasizm amerykańskiego wymiaru sprawiedliwości, Amazon, ale też IBM, wycofały się ze współpracy ze służbami, argumentując, że systemy AI wykorzystywane w tym obszarze powinny podlegać ścisłym regulacjom prawnym. W tym przypadku pomogła presja społeczna, ale w innych – zwłaszcza tam, gdzie nie ujawnia się informacji o wykorzystywaniu AI – może jej zabraknąć. Dlatego niezależnie od tego, kto rozwija lub wdraża AI, wszystkie systemy, które mają potencjał wpływania na ludzi i na ich życie, powinny podlegać pewnym zasadom.

Poszczególne kraje mają zbyt małe kompetencje, aby poradzić sobie z tymi wyzwaniami. Jako szansę wskazuje się współpracę międzypaństwową. Jak w takim razie z tym zagadnieniem radzi sobie Unia Europejska i jak wypada ona na tle areny światowej?

KI: Unia Europejska jako pierwsza na świecie wzięła się za regulację AI i zaproponowała w kwietniu wiążące przepisy na ten temat, które mają z jednej strony wspierać innowacje, a z drugiej – chronić ludzi przed naruszeniem ich podstawowych praw i wolności. Podobnie jak w przypadku RODO, unijne prawo ma szansę wyznaczyć trendy dla regulacji w innych krajach. Ale zaproponowane przez Komisję Europejską przepisy nie odpowiadają na najważniejsze wyzwania związane z rozwojem AI: nie stawiają wystarczających granic dla najbardziej ryzykownych zastosowań AI, nie umożliwiają osobom poszkodowanym przez działanie tych systemów dochodzenia swoich praw, nie rozwiązują problemu czarnych skrzynek i zamiast skutecznej kontroli nad systemami, które wiążą się z wysokim ryzykiem dla ludzi, wprowadzają pakiet biurokratycznych wymogów (więcej na ten temat można przeczytać w artykule Unia szykuje przepisy dotyczące AI: 5 problemów – przyp.red.).

Co dalej?

KI: Jesteśmy dopiero na początku drogi legislacyjnej – swoje zmiany zaproponują teraz Parlament Europejski i państwa członkowskie. Ostatecznie wymogi dla „godnego zaufania AI” mogą wyglądać całkiem inaczej. W Panoptykonie bierzemy aktywny udział w tym procesie i wspólnie z naszą europejską siecią organizacji zajmujących się prawami człowieka w cyfrowym świecie będziemy walczyć o to, by prawo jak najbardziej chroniło ludzi przed błędami i uprzedzeniami systemów wykorzystujących AI.

 

Anna Obem – dyrektorka zarządzająca Fundacji Panoptykon. W przerwach od tabelek finansowych pisze poradniki i przewodniki.
Karolina Iwańska – prawniczka. W Fundacji Panoptykon zajmuje się analizowaniem unijnego prawa oraz przekonywaniem polskich i europejskich decydentów do tego, by regulując nowe technologie, nie zapominali o prawach człowieka.