Nie wierz statystykom tworzonym w oparciu o ludzkie zachowania

20.05.2018
Każda statystyka, która służy do oceny, będzie manipulowana. Oceniani zaczynają modyfikować swoje zachowanie tak, by osiągać wysokie oceny, zwykle kosztem jakości pracy – pisze Jerry Z. Muller w „The Tyranny of Metrics”.


„Obsesja w kwantyfikowaniu ludzkiej wydajności szkodzi naszym szkołom, opiece medycznej, biznesom i rządowi” – w ten sposób zaczyna się podsumowanie tej książki, które najlepiej oddaje to czego ona dotyczy. Jerry Z. Muller na przykładach pokazuje jak wprowadzenie jakiegokolwiek liczbowego kryterium oceny sprawia, że oceniani ludzie zaczynają modyfikować swoje zachowanie w taki sposób, by osiągać wysokie oceny, zwykle kosztem jakości pracy.

Już w 1976 r. psycholog społeczny Donald T. Campbell zauważył, że głównym skutkiem ogłoszonej przez prezydenta USA Richarda Nixona „walki z przestępczością” była „walka z wskaźnikami mierzącymi łamanie prawa”. W praktyce przestępstwa były klasyfikowane w innej kategorii albo w ogóle nie zaliczane do przestępstw. Ta praktyka nie ogranicza się tylko do USA.

W 2013 r. informator z londyńskiej policji poinformował komisję parlamentarną, że „masowanie statystyk” było „integralną częścią kultury pracy policji”. Bezpośrednim powodem zaistnienia tej praktyki było wprowadzenie przez Biuro Burmistrza ds. Policji i Przestępstw celu obniżenia ilości przestępstw o 20 proc. Również na Wyspach Ministerstwo Zdrowia wprowadziło praktykę karania szpitali, w których pacjenci musieli czekać na ostrym dyżurze na badanie przez lekarza dłużej, niż cztery godziny.

Patrząc tylko na statystyki można by odnieść wrażenie, iż interwencja odniosła sukces. Później jednak okazało się, że poprawa statystyk wynikała z tego, iż szpitale trzymały pacjentów za drzwiami i wpuszczały dopiero wtedy, kiedy miały gwarancje, że dadzą radę ich przyjąć w ciągu wymaganych czterech godzin.

Podobnie sprawa wyglądała w szkołach. Kiedy pieniądze placówek zależą od wyników uczniów to modyfikuje się kryteria przyjmowania tak, by brać tylko najlepszych. Sprawa dotyka także prywatnych firm, gdzie regularnie próbuje się poprawiać efektywność działania wprowadzając nagrody dla zarządzających uzależnione od osiąganych wyników.

Autor przytacza przykład amerykańskiej firmy farmaceutycznej Mylan. To jedenasta pod względem przychodów i szesnasta jeżeli chodzi o wycenę rynkową firma produkująca lekarstwa w USA. Mimo tego zarządzający byli na drugim miejscu w swojej branży pod względem wysokości zarobków. W ciągu pięciu lat, do grudnia 2015 r., każdy z trzech najwyższych rangą menedżerów zarobił ponad 70 mln dol.

W 2014 r. rada nadzorcza ustaliła specjalne nagrody dla zarządzających – warunkiem był wzrost zysków firmy przynajmniej o 16 proc. rocznie. Te wymagania były mało rozsądne biorąc pod uwagę, że firma sprzedawała głównie leki generyczne, których rynek uważa się za dojrzały i silna konkurencja na nim sprawia, że zyski są relatywnie niskie. Jak sobie poradzili menedżerowie z tym problemem, kiedy powieszono przez nimi „marchewkę” w postaci dużej ilości pieniędzy?

Najwięcej zysków przynosił firmie tzw. EpiPen – urządzenie przypominające długopis, a będące strzykawką wraz z dawką epinefryny (adrenaliny), która ma ratować życie osobom doświadczającym silnej reakcji alergicznej. Firma nie wynalazła tego urządzenia. Kupiła do niego prawa w 2007 r. i miała na niego monopol. Postawieni przed zadaniem szybkiego zwiększenia zysków menadżerowie zaczęli podnosić cenę EpiPena. Koszt paczki z dwoma sztukami urządzenia wzrosła od 2009 r. do 2013 r. ze 100 dol. do 263 dol. Następnie, zaraz po wprowadzeniu „systemu motywacyjnego”, podwojono cenę do 461 dol. a następnie do 608 dol. Menadżerowie zrealizowali cel wyższych zysków i dostali nagrody.

Drakońskie podwyżki cen ratującego życie urządzenia nie mogły jednak przejść bez echa. W końcu doprowadziły do przesłuchań przed Kongresem i gigantycznych strat wizerunkowych. Cena akcji firmy spadła do 30 dol. Krótkoterminowe zyski zostały osiągnięte, ale okupiono je wysokimi, długoterminowymi stratami.

Bardzo często, kiedy próbujemy rozwiązywać skomplikowany problem poprzez system kar albo nagród za spełnianie prostego kryterium, to nie tylko nie rozwiązujemy pierwotnego problemu, ale tworzymy nowe. Jeżeli bowiem chcemy przyznawać kary czy nagrody, to zwykle opieramy się na jakimś mierniku. A znacznie prościej, niż rozwiązać problem jest oszukać statystyki.

Nadzór musi nadążać za zmianami rynku

Kwestia ta była już badana przez ekonomistów. Prawo Goodharta (od nazwiska brytyjskiego ekonomisty prof. Charlesa Goodharta) brzmi: „Jakakolwiek miara, która staje się celem, przestaje być dobrą miarą”. Goodhart sformułował je w 1975 r. Popularność zyskało, bo było używane do krytyki rządu Margaret Thatcher za próby prowadzenia polityki monetarnej na bazie tzw. szerokiego i wąskiego pieniądza.

Problem sygnalizowany przez autora jest znacznie głębszy, ponieważ jego sednem jest prowadzenie polityki za pomocą „kija i marchewki”. W 1993 r. psycholog Alfie Kohn wydał doskonałą książkę „Punished by Rewards”, w której udowodnił, że metoda kar i nagród stosowana powszechnie do wychowania dzieci jest nie tylko nieskuteczna, ale i nieetyczna.

Pieniądze to nie wszystko

W 2011 r. Daniel H. Pink w książce „Drive” udowodnił, że główną motywacją do pracy wcale nie są pieniądze, a system kar i nagród dla pracowników w większości przypadków nie tylko nie przynosi efektów, ale szkodzi. Z kolei w 2016 r. wyszła książka Cathy O`NeilWeapons of Math Destruction”, w której autorka pokazała jak opieranie się na matematycznych modelach przy podejmowaniu ważnych decyzji prowadzi do negatywnych skutków. Książka Jerry’ego Z. Mullera jest silnie inspirowana tamtymi publikacjami. Mój największy zarzut w stosunku do niej jest taki, że jest ona wtórna. Prezentuje materiał zawarty w innych publikacjach, ale opisuje go od trochę innej strony. W mojej ocenie jednak wkład intelektualny autora jest zbył mały, żeby uznać, iż pozycja jest wartościowa.

Może być ona interesująca jedynie dla osób, które nie znają wymienionych przeze mnie tytułów i wolą główny przekaz z tamtych pozycji otrzymać w zwięzłej formie w jednej publikacji. Podsumowując: „The Tyranny of Metrics” większość czytelników może sobie darować.


Tagi


Artykuły powiązane

Popularne artykuły