Broń statystycznego rażenia

04.02.2017
Modele statystyczne mogą doprowadzić do wrzucenia z roboty dobrych pracowników, a nawet zmienić władzę w kraju - pisze Cathy O'Neil w książce „Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy”.


Autorka jest doktorem matematyki po Harvardzie. Uczyła na uniwersytetach, po czym przeniosła się do funduszu hedgingowego D.E.Shaw. Ostatnio pracuje w start-upach, gdzie buduje modele pozwalające przewidzieć, kiedy i gdzie będą klikać internauci. Rozpoczyna publikację (jej polski tytuł to „Broń matematycznego rażenia: Jak modele statystyczne zwiększają nierówności i zagrażają demokracji”) od przytoczenia ciekawej historii z Waszyngtonu. W 2007 r. nowy burmistrz miasta Adrian Fenty uznał, że za wszelką cenę musi poprawić jakość nauczania w publicznych szkołach (tylko 8 proc. 14-15 latków miało opanowaną matematykę na poziomie wymaganym przez program nauczania).

Fenty zatrudnił Michelle Rhee, której zadaniem była reforma systemu edukacji. Doszła ona do wniosku, że winni są kiepscy nauczyciele. Przygotowała plan, by pozbyć się najsłabszych belfrów, a najlepszych przenieść tam, gdzie przyniosą najwięcej korzyści. Rhee zleciła stworzenie systemu oceniania nauczycieli zwanego IMPACT i na przełomie roku szkolnego 2009-2010 władze zwolniły wszystkich nauczycieli, którzy znaleźli się wśród dwóch procent ocenionych najsłabiej. Pod koniec kolejnego roku zwolniono kolejne 5 proc. (206 osób).

Wśród zwolnionych była niejaka Sarah Wysocki z MacFarland Middle School, którą niska ocena jej pracy bardzo zaskoczyła, bo i dyrektor, i rodzice byli bardzo z niej zadowoleni. Okazało się, że połowę oceny w systemie IMPACT stanowiła punktacja wygenerowana przez algorytm. To program komputerowy, który zaprogramowano tak, by mierzył efektywność pracy takich nauczycieli, jak Wysocki za pomocą tzw. wartości dodanej. Nauczycielka próbowała się dowiedzieć, jak dokładnie wygląda ten algorytm (jego twórcą była firma Mathematica Policy Research z Princeton), ale nie udało jej się to zrobić, a firma, która go stworzyła, zasłaniała się tajemnicą.

W końcu jednak Wysocki udało się ostatecznie dowiedzieć, co spowodowało jej słabą ocenę. Otóż model oceniający pracę nauczycieli na podstawie wartości dodanej mierzył poziom uczniów na początku roku i na końcu, zakładając, że różnica między tymi poziomami jest zasługą nauczyciela. Jednak wielu uczniów Wysocki przyszło do jej klasy z innej szkoły – Barnard Elementary School – z bardzo dobrymi wynikami testów z czytania, które algorytm przyjął jako punkt wyjścia. Później okazało się, że wielu z tych uczniów miało problemy z przeczytaniem nawet prostych zdań, a ze śledztwa dziennikarskiego „Washington Post” i „USA Today” wynikało, że najprawdopodobniej nauczyciele w tamtych szkołach zawyżali wyniki testów uczniów, bo od tego zależały ich miejsca pracy oraz premie (za dobre wyniki wypłacano nawet po 8 tys. dolarów).

Najprawdopodobniej uczniowie Wysocki mieli zawyżone oceny umiejętności na początku roku i kiedy na koniec semestru otrzymali prawdziwą ocenę umiejętności, algorytm potraktował to jako dowód, że pani Wysocki nie umie uczyć. Autorka książki przywołuje przykład Sarah Wysocki jako typowej ofiary „broni matematycznego rażenia”, czyli modeli statystycznych, które często tworzone są bez możliwości skorygowania błędów, które popełniają. Choć nauczycielka odwoływała się od oceny swojej pracy, podtrzymano decyzję o jej zwolnieniu. Na szczęście szybko znalazła pracę w prywatnej szkole dla dzieci zamożnych rodziców, gdzie nie stosowano modeli statystycznych do oceny pracy nauczycieli.

Skutkiem reformy było więc to, że dzieci słabiej zarabiających rodziców, którzy posyłali swoje pociechy do publicznej szkoły, zostały pozbawione doskonałej edukatorki. Ale nieumiejętnie zastosowane modele statystyczne nie tylko mogą powodować więcej szkody niż pożytku i niszczyć postronnym ludziom życie, ale mogą także stanowić zagrożenie dla demokracji. Jak to możliwe?

Jeżeli dokonujemy wpisu na Facebooku, nie oznacza to wcale, że każdy z naszych znajomych go zobaczy. O tym, w jaki sposób i kiedy zostanie im przedstawiony, decyduje algorytm. Może się okazać, że u wielu z nich nasz post będzie tak daleko na liście wiadomości, że nigdy go nie zobaczą. Jeśli weźmiemy pod uwagę, że duża część użytkowników Facebooka traktuje go jak źródło informacji, oznacza to, że modyfikując algorytm, można wpływać na postrzeganie świata przez internautów.

W 2010 r. i 2012 r. Facebook prowadził akcje zachęcenia Amerykanów do wzięcia udział w głosowaniu. Według ich wyliczeń udało im skłonić do tego 340 tys. osób. To wystarczająco duża grupa, by zmienić wynik wyborów w poszczególnych stanach, a nawet w ogólnonarodowych wyborach (szczególnie gdyby firma chciała zachęcić do udziału w wyborach tylko wyborców jednej opcji). W 2012 r. naukowcy sprawdzali także na 680 tys. użytkownikach Facebooka, jak wyświetlanie różnych wiadomości może wpłynąć na ich nastrój. Okazało się, że faktycznie można w ten sposób istotnie zmieniać samopoczucie internautów.

Podobnie można manipulować wynikami wyszukiwarki Google. Dwóch naukowców Robert Epstein i Ronald E. Robertson przeprowadziło eksperyment, prosząc niezdecydowanych wyborców w USA i Indiach, by korzystając z wyszukiwarki, dowiedzieli się więcej na temat nadchodzących wyborów. Wyszukiwarki zostały tak zaprogramowane, by w wynikach wyszukiwania preferować jedną bądź drugą partię. Okazało się, że naukowcy byli w stanie zmienić w ten sposób wynik wyborów o 20 proc. Oczywiście autorka książki twierdzi, że nie ma żadnych powodów, by sądzić, iż te potężne algorytmy są wykorzystywane w ten sposób. Jednak sama możliwość może być niepokojąca.

Książka Cathy O`Neil jest bardzo nierówna. Choć dotyka ciekawego i ważnego problemu, robi to w mało atrakcyjny sposób, w szczególności dla polskiego czytelnika (podawane przez nią przykłady dotyczą amerykańskich problemów, takich jaki dyskryminowanie mniejszości rasowych). Mam także wrażenie, że zbyt daleko odchodzi od tematu, poświęcając sporo miejsca na przykład rankingom szkół wyższych. Natomiast bez wątpienia warta uwagi jest część poświęcona temu, jak prywatne firmy wykorzystują algorytmy do tego, by znaleźć i oskubać z pieniędzy niezamożne i niezaradne osoby. Podsumowując: książka warta jest uwagi, ale z zastrzeżeniami.

 


Tagi


Artykuły powiązane

Popularne artykuły