Meredith Broussard | Dylemat wagonika12.04.2019

Powinniśmy skupić się na tworzeniu systemów, które wspierałyby ludzi, zamiast ich zastępować. Celem nie jest stworzenie świata rządzonego przez maszyny – celem są ludzie. Potrzebujemy więc dizajnu skoncentrowanego na człowieku.

„Pewnego dnia” – to najczęstsze określenie używane w rozmowach o autonomicznych pojazdach. Nie jeśli, ale kiedy. Takie myślenie wydaje mi się bardzo dziwne. (...) Przecież samoprowadzące się samochody w rzeczywistości nie działają. A właściwie działają wystarczająco dobrze tylko w sytuacjach, kiedy jazda nie jest utrudniona: podczas bezchmurnego dnia, na pustej autostradzie ze świeżo pomalowanymi pasami. (...) Jeśli warunki są wystarczająco dobre, taki pojazd sprawia wrażenie, jakby działał. Ale pozostaje wiele problemów technicznych. Ciągła jazda autonomicznym samochodem wymaga dwóch serwerów – jednego działającego, drugiego zapasowego – które razem produkują około pięciu tysięcy watów energii. Taka moc generuje dużą ilość ciepła – za jego pomocą można by ogrzać pokój o wielkości 37 metrów kwadratowych. Nikt nie wymyślił jeszcze, jak zamontować system chłodzący, który by temu przeciwdziałał. (1) 

Ryan (pracownik Tesli – przyp.red.) skierował mnie na autostradę West Side, w sam środek ulicznego ruchu. Zazwyczaj zdejmuję nogę z gazu i dojeżdżam do czerwonego światła na luzie, hamując dopiero przed samym sygnalizatorem. Ale samochody Tesli posiadają system hamowania rekuperacyjnego, co oznacza, że hamulce włączają się same, gdy zdejmuję nogę z gazu. Takie wymuszenie innego sposobu jazdy sprawiło, że poczułam się zdezorientowana. Ktoś na mnie zatrąbił, nie potrafiłam jednak ocenić dlaczego – czy z powodu mojego dziwnego zachowania w pobliżu świateł, czy dlatego, że jechałam luksusowym samochodem, a może po prostu dlatego, że był zwykłym nowojorskim dupkiem.

Po zjechaniu z autostrady skręciłam w brukowaną Clarkson Street. Wydawała się mniej wyboista niż zazwyczaj. Ryan poprowadził mnie zaraz za Houston na równą drogę bez żadnych podjazdów i z nielicznymi pieszymi, która biegła równolegle do zaplecza firmy transportowej. „No dawaj”, namawiał mnie Ryan. „Nikogo tu nie ma. Spróbuj”.

Nie trzeba było mi tego dwa razy powtarzać. Wcisnęłam pedał do końca – zawsze chciałam to zrobić – a samochód gwałtownie ruszył do przodu. Ta moc była odurzająca. Siła przyśpieszenia wcisnęła wszystkich w siedzenia. „Jak na Space Mountain! (największej kolejce górskiej w Disneylandzie – przyp. red.)", powiedział Ryan. Mój syn, który siedział na tylnym siedzeniu zgodził się z nim. Żałowałam, że przecznica była tak krótka. Zawróciliśmy z powrotem na autostradę West Side, a ja wcisnęłam gaz jeszcze raz, tylko po to, by poczuć przyspieszenie. Wszystkich znów wbiło w fotel. „Przepraszam”, powiedziałam. „Kocham to”. Ryan pokiwał głową pokrzepiająco. „Jesteś bardzo dobrym kierowcą”, powiedział mi. Rozpromieniłam się. Zdawałam sobie sprawę, że pewnie mówi to wszystkim, ale nie obchodziło mnie to. We wstecznym lusterku zobaczyłam mojego męża, który wydawał się być lekko zielony.

„To najbezpieczniejszy samochód na rynku”, powiedział Ryan. „Najbezpieczniejszy samochód, jaki kiedykolwiek wyprodukowano”. Opowiedział historię o NHTSA (Narodowej Agencji Bezpieczeństwa Ruchu Drogowego – przyp. red.), która próbowała w ramach testów rozbić Teslę; nie udało im się. „Próbowali ją przewrócić – nie udało im się. Musieli użyć dźwigu, żeby to zrobić. My robiliśmy podobne testy, w których samochód wjeżdżał w mur – ale to mur się rozbijał, a nie samochód. Zrzucali na samochody Tesli ciężary, które się rozwalały. Zniszczyliśmy najwięcej przedmiotów w historii testów wypadkowych”.

W Greenwich Village minęliśmy inną Teslę i pomachaliśmy. To jest coś, co robią kierowcy Tesli – machają do siebie nawzajem. Jeśli pojeździsz Teslą na autostradzie w San Francisco, ręka zdrętwieje ci od machania. Ryan cały czas wspominał Elona Muska. Otacza go kult niepodobny do żadnego innego projektanta samochodów. Kto zaprojektował Forda Explorera? Nie mam pojęcia. Ale nawet mój syn znał Elona Muska. „On jest sławny”, powiedział. „Występował nawet w jednym z odcinków Simpsonów”.

Problem etyczny związany z autonomicznymi pojazdami zazwyczaj zaczyna się od ćwiczenia filozoficznego, nazywanego „dylematem wagonika”. Wyobraź sobie, że prowadzisz tramwaj, który pędzi po szynach w kierunku tłumu ludzi.

 

Zaparkowaliśmy i zrobiliśmy z synem zdjęcie obok błyszczącego białego samochodu, z podniesionymi do góry drzwiami. Wsiedliśmy do naszego rodzinnego samochodu zaparkowanego nieopodal. „Teraz to wydaje się bardzo staromodne”, skomentował mój syn. Pojechaliśmy do domu autostradą West Side, a potem brukowaną Clarkson Street. Trzęśliśmy się i podskakiwaliśmy na kamieniach – dokładne przeciwieństwo doświadczenia płynnej jazdy Teslą. Trochę jak wtedy, gdy poszłam na obiad do Le Bernandin, a po powrocie do domu zorientowałam się, że jedyne co mam na kolację, to hot dogi.

Jako samochód, Tesla jest niesamowita. Co do Tesli jako pojazdu autonomicznego, jestem sceptyczna. Częścią problemu jest to, że nie istnieje ostateczny kodeks etyczny maszyn – jest bowiem bardzo trudny do stworzenia. Dylemat etyczny zazwyczaj zaczyna się od ćwiczenia filozoficznego, nazywanego „dylematem wagonika”. Wyobraź sobie, że prowadzisz tramwaj, który pędzi po szynach w kierunku tłumu ludzi. Możesz przekierować go na inne szyny, ale wtedy przejedziesz jedną osobę. Co wybierzesz: pewną śmierć jednej osoby, czy wielu? Google i Uber zatrudnili filozofów, żeby rozwiązali kwestie etyczne i wbudowali je w oprogramowanie. To się nie udało. W październiku 2016 r. magazyn Fast Company doniósł, że Mercedes zaprogramował swoje samochody w ten sposób, żeby zawsze ratowały kierowcę i pasażerów. (2) Nie jest to idealne rozwiązanie. Wyobraźmy sobie autonomicznego Mercedesa, który wpada w poślizg w pobliżu grupy dzieci czekających na przystanku autobusowym w sąsiedztwie drzewa. Oprogramowanie Mercedesa zdecyduje o wjechaniu w grupę dzieci, a nie w drzewo – ponieważ właśnie taki ruch zagwarantuje bezpieczeństwo kierowcy, podczas gdy człowiek zapewne podjąłby decyzję o wjechaniu w drzewo, żeby uratować młode życia.

Wyobraźmy sobie przeciwny scenariusz: samochód jest zaprogramowany, żeby poświęcić kierowcę i pasażerów na rzecz przechodniów. Czy wsiedlibyście do takiego samochodu ze swoim dzieckiem? Czy pozwolilibyście wsiąść do niego komuś ze swojej rodziny? Czy chcecie być na ulicy, na chodniku, na rowerze, w pobliżu samochodów, które nie mają kierowców, ale mają za to oprogramowanie, na którym nie można polegać i które zostało zaprojektowane w taki sposób, żeby zabić was albo kierowcę? Czy zaufalibyście nieznanym wam programistom, którzy podejmują takie decyzje w waszym imieniu? W samoprowadzących się samochodach śmierć jest elementem wyposażenia, a nie defektem.

Komu służy technologia? W jaki sposób powinniśmy się nią posługiwać? Jeśli samoprowadzące się samochody są zaprogramowane, żeby ocalić kierowcę kosztem grupy przedszkolaków, to czemu tak jest?

 

„Dylemat wagonika” jest klasycznym przykładem komputerowej etyki. Wielu inżynierów odpowiada na ten dylemat w niesatysfakcjonujący sposób. „Jeśli wiesz, że możesz uratować chociaż jedną osobę, zrób to. Uratuj osobę w samochodzie”, powiedział Christoph von Hugo, menedżer bezpieczeństwa automatycznych samochodów w Mercedesie, w rozmowie z „Car and Driver”. (3) Informatycy i inżynierowie (...) zazwyczaj nie myślą o tym, że ustanawiają precedens, albo o skutkach ich na pierwszy rzut oka błahych decyzji przy projektowaniu. Powinni, ale często tego nie robią. Inżynierowie, programiści i informatycy zazwyczaj mają minimalne wykształcenie etyczne. Stowarzyszenie dla Maszyn Liczących (ang. Association for Computing Machinery), najpotężniejsza organizacja zrzeszająca profesjonalistów zajmujących się informatyką, ma kodeks etyczny. W 2016 r. został on zrewidowany po raz pierwszy od 1992 r. Przypomnijmy, że internet powstał w 1991 r., a Facebook w 2004 r..

Etyka wchodzi w skład standardowego programu nauczania informatyki, ale nie jest to egzekwowane. Niewiele uniwersytetów proponuje zajęcia z etyki komputerowej albo inżynierskiej. Etyka i moralność wykraczają poza naszą aktualną dyskusję, ale wystarczy powiedzieć, że nie jest to zupełnie dziewiczy teren. Używamy względów i pojęć moralnych, takich jak np. umowa społeczna, kiedy docieramy do granic naszej wiedzy i doświadczenia. Wyobrażamy sobie taką drogę do podjęcia decyzji, która wpisuje się w ramy społeczeństwa, w którym żyjemy. Te ramy mogą być ukształtowane przez społeczności religijne albo prawne. Kiedy nie mamy ram albo poczucia obowiązku w stosunku do innych członków społeczeństwa, często podejmujemy decyzje, które wydają się dziwaczne. W przypadku samoprowadzących się samochodów nie ma sposobu, żeby upewnić się, że decyzje podjęte przez pojedynczych technologów w biurach korporacji będą zgodne z rzeczywistym dobrem ogółu. To kolejny raz prowadzi nas do pytania: Komu służy technologia? W jaki sposób powinniśmy się nią posługiwać? Jeśli samoprowadzące się samochody są zaprogramowane, żeby ocalić kierowcę kosztem grupy przedszkolaków, to czemu tak jest? Co właściwie znaczy nasza akceptacja tego fabrycznego oprogramowania i wejście za kierownicę?

Wielu ludzi, zwłaszcza technologów, wydaje ostrzeżenia dotyczące samoprowadzących się samochodów i tego, w jaki sposób zamierzają zabrać się do bardzo trudnych problemów, które nie zostały jeszcze rozwiązane. Pionier internetu Jaron Lanier tak przestrzegał przed konsekwencjami ekonomicznymi w jednym z wywiadów:

„Samoprowadzące się samochody pracują, korzystając z big data. To nie jest tak, że istnieje jakiś ogromny, sztuczny mózg, który wie, jak prowadzić samochód. Po prostu ulice są szczegółowo zdigitalizowane. Skąd pochodzą te dane? Do pewnego stopnia z automatycznych kamer. Ale bez względu na to, skąd pochodzą, na samym początku łańcucha jest człowiek, który je obsługuje. Kamery nie są tak naprawdę automatyczne. Ktokolwiek to jest – może ktoś z Google Glass na głowie, kto zauważa nowy wybój, albo ktoś jadący obok na rowerze – niewiele osób wychwyci te dane. W momencie, kiedy dane są mniej dostępne, ich wartość powinna wzrosnąć. Uaktualnienie potrzebnych danych jest warte więcej, niż wyobrażamy to sobie dziś”. (4)

Wszystkie eksperymenty z autonomicznymi pojazdami wymagały bezustannej obecności kierowcy i inżyniera. Tylko technologiczny szowinista nazwałby to sukcesem, a nie porażką. 

 

Lanier opisuje świat, w którym bezpieczeństwo pojazdów zależy od zmonetyzowanych danych – dystopię, w których najlepsze dane trafiają do osób, które są w stanie za nie najwięcej zapłacić. Ostrzega przed takim prawdopodobnym scenariuszem dla samoprowadzących się samochodów, który nie jest ani bezpieczny, ani etyczny, a już na pewno nie służy ogółowi. Problemem jest to, że niewiele osób go słucha. Popularny pogląd jest taki, że „samoprowadzące się samochody to sprytne urządzenia, którymi już zaraz będziemy się posługiwać”. Nikt nie wydaje się przejmować tym, że technolodzy mówią „już zaraz” od dekad. Do dzisiaj, wszystkie eksperymenty z autonomicznymi pojazdami wymagały bezustannej obecności kierowcy i inżyniera. Tylko technologiczny szowinista nazwałby to sukcesem, a nie porażką.

Z projektów autonomicznych pojazdów wyszło za to kilka użytecznych rozwiązań dla konsumentów. Mój samochód ma kamery wbudowane po wszystkich czterech stronach; oglądanie nagrania na żywo ułatwia mi parkowanie. Niektóre luksusowe samochody mają wbudowaną funkcję parkowania równoległego, która pomaga kierowcy zmieścić się w niewielkiej przestrzeni. Inne pojazdy mają też funkcję alarmu, który włączą się, gdy kierowca podjeżdża zbyt blisko namalowanych pasów. Znam niepewnych kierowców, którzy bardzo to sobie cenią.

Budowanie samoprowadzących się samochodów w celu rozwiązania problemów bezpieczeństwa to jak używanie nanorobota do zabijania robaków na roślinach doniczkowych.

 

Ale funkcje bezpieczeństwa rzadko przyczyniają się do zwiększenia sprzedaży samochodów. Inne rzeczy, takie jak odtwarzacze DVD oraz zainstalowane Wi-Fi i Bluetooth są dużo bardziej pomocne w zwiększaniu dochodów twórców samochodów. Ale to niekoniecznie służy ogółowi. Statystyki pokazują, że więcej technologii w samochodach niekoniecznie jest lepsze dla ich prowadzenia. Narodowa Rada Bezpieczeństwa, organizacja nadzorująca bezpieczeństwo na drogach, donosi, że 53 procent kierowców wierzy, że jeśli twórcy samochodu umieścili w nich interaktywne tablice informacyjno-rozrywkowe i technologię bezdotykową, to znaczy, że są one bezpieczne w użyciu. W rzeczywistości jest dokładnie przeciwnie. Im więcej technologii informacyjno-rozrywkowej, tym więcej wypadków. Kierowcy są coraz łatwiej się rozpraszają, szczególnie odkąd zaczęliśmy pisać wiadomości na telefonach podczas jazdy. Co roku na drogach w Stanach Zjednoczonych z tego powodu rozproszenia uwagi kierowców ginie ponad 3 tysiące osób. Narodowa Rada Bezpieczeństwa ocenia, że po sprawdzeniu telefonu kierowca potrzebuje średnio 27 sekund, żeby skierować pełną uwagę na drogę. Pisanie wiadomości podczas prowadzenia jest zakazane w 46 stanach, Waszyngtonie, Puerto Rico, Guam i na Wyspach Dziewiczych Stanów Zjednoczonych. Pomimo tego, kierowcy uparcie używają telefonów do dzwonienia, pisania wiadomości lub szukania wskazówek dojazdu. Dotyczy to zwłaszcza młodych osób. Pomiędzy 2006 r. a 2015 r., liczba kierowców w wieku 16-24 lat, którzy używali w widoczny sposób urządzeń trzymanych w rękach wzrósł z 0,5 do 4,9 procent. (5)

Budowanie samoprowadzących się samochodów w celu rozwiązania problemów bezpieczeństwa to jak używanie nanorobota do zabijania robaków na roślinach doniczkowych. Powinniśmy skupić się na tworzeniu systemów, które wspierałyby ludzi, zamiast ich zastępować. Przecież celem nie jest stworzenie świata rządzonego przez maszyny – celem są ludzie. Potrzebujemy więc dizajnu skoncentrowanego na człowieku. Jednym z jego przykładów mogłoby być umieszczenie w standardowym samochodzie urządzenia blokującego telefon kierowcy. Odpowiednia technologia już istnieje – kierowca mógłby zadzwonić na numer alarmowy, ale nie mógłby pisać wiadomości albo wejść do internetu. To znacznie zmniejszyłoby problem rozproszenia uwagi kierowców. Ale z pewnością nie przyniosłoby korzyści ekonomicznych. Nadzieja na spory zarobek jest w dużym stopniu przyczyną szału na samoprowadzące się samochody. Niewielu inwestorów jest gotowych na pozbycie się tej nadziei.

Ekonomia samoprowadzących się samochodów może niebawem dotrzeć do świadomości ogółu społeczeństwa. W 2016 r., prezydent Barack Obama i dyrektor MIT Media Lab Joi Ito rozmawiali o przyszłości pojazdów autonomicznych. W rozmowie, która została później opublikowana w Wired, Obama powiedział: „Technologia w zasadzie już powstała”.(6)

Mamy maszyny, które potrafią podejmować szybkie decyzje, które mogą drastycznie zmniejszyć liczbę wypadków śmiertelnych, poprawić skuteczność systemu transportowego i pomóc rozwiązać problem wydzielania dwutlenku węgla, który powoduje globalne ocieplenie. Ale Joi słusznie zwrócił uwagę na to, że nie wiemy, jakie wartości zamierzamy wbudować w samochody. Trzeba będzie podejmować trudne decyzje. Co zrobić w obliczu następującego wyboru: jeśli samochód skręci, żeby uniknąć uderzenia w pieszego, to czy może wjechać w mur i zabić pasażera? To decyzja moralna, wiec pytanie, kto ustala zasady? Ito powiedział: „Kiedy próbowaliśmy rozwiązać dylemat wagonika, większości ludzi podobał się pomysł poświęcenia kierowcy i pasażera, żeby ocalić większą liczbę osób. Ale mówili też, że nigdy nie kupiliby sobie samoprowadzącego się samochodu”. Nie powinno być dla nikogo zaskoczeniem, że członkowie społeczeństwa są bardziej etyczni i bardziej inteligentni od maszyn, którym mamy zawierzyć nasze życia.

Fragment książki Meredith Broussard Artificial Unintelligence: How Computers Misunderstand the World (The MIT Press, 2018).

1. Danah Boyd and Kate Crawford. “Critical Questions for Big Data: Provocations for a Cultural, Technological, and Scholarly Phenomenon.” Information Communication and Society 15, no. 5 (June 2012): 662–679. doi:10.1080/1369118X.2012.678878.
2. Danah Boyd, Emily F. Keller, and Bonnie Tijerina. “Supporting Ethical Data Research: An Exploratory Study of Emerging Issues in Big Data and Technical Research.” Data & Society Research Institute, August 4, 2016.
3. Brand, Stewart. The Media Lab: Inventing the Future at MIT. New York: Viking, 1987
4. www.wholeearth.com/issue/1340/article/189/we.are.as.gods
5. www.content.time.com/time/magazine/article/0,9171,982602,00.html
6. Brewster, Zachary W., and Michael Lynn. “Black-White Earnings Gap among Restaurant Servers: A Replication, Extension, and Exploration of Consumer Racial Discrimination in Tipping.” Sociological Inquiry 84, no. 4 (November 2014): 545–569.