(CC BY-NC-SA UGL_UIUC 2.0)
W filmie „Moneyball” dla szefa klubu bejsbolowego pracuje ograniczony ekonomista, absolwent uczelni z Ligi Bluszczowej, wynajdujący niedocenianych zawodników za pomocą jasnych zasad logicznych i technik statystycznych. Brad Pitt zagrał Billy’ego Beane’a, autentycznego szefa klubu bejsbolowego stosującego metody „sabrometryczne” (od skrótowca SABR utworzonego od nazwy stowarzyszenia zajmującego się badaniami nad bejsbolem), aby wybierać graczy, którzy zapewnią najwyższą stopę zwrotu z inwestycji. Wielu oglądających ten film ekonomistów zapewne odczuwało dumę, że nasze narzędzia ukazano jako instrumenty spełniające rygorystyczne kryteria obiektywności.
Przecież ekonomiści od dawna głoszą, że trzeba używać logiki, aby z ekonomii usunąć wszystko, co nie działa sprawnie bądź umożliwia odnoszenie osobistych korzyści. Zdumiewające, że tak rzadko przyglądano się naszej profesji z uwagą, z jaką traktuje się te założenia.
A należy się jej przyjrzeć dość dokładnie. Nasze metody oceniania i nagradzania badań – zasadniczy czynnik decydujący o awansach i wynagrodzeniach – prowadzą do nieefektywności i kłócą się z tym, czego uczymy studentów o sprawnej produkcji. Co gorsza, ten brak produktywności może wynikać z tego, że sami ekonomiści dążą do osobistych korzyści, wykorzystując w tym celu politykę wydziału uczelni. Sposób punktowania współautorstwa i oceny publikacji prowadzi do tworzenia zbyt dużych zespołów badawczych, skłania do podawania fikcyjnych autorów, przyczynia się do braku obiektywizmu i krzywdzi uczciwych naukowców.
Łatwo stworzyć system proporcjonalnego punktowania autorstwa. System, w którym wszystkie ułamki punktu przyznawane za współautorstwo przy zsumowaniu dają jedność (czyli rozwiązanie polegające na całkowitej proporcjonalności punktowania autorstwa) prowadziłby do tego, że przez należyte bodźce tworzono by zespoły badawcze odpowiedniej wielkości, czego nie zapewni żadna inna zasada podziału.
W ramach przeprowadzonego przeze mnie niedawno badania dałem do wypełnienia dziekanom wydziałów około 100 najważniejszych amerykańskich uczelni ankietę. Prawie połowa udzieliła odpowiedzi. Ponad 1/3 wydziałów (16 z 45) przyznaje każdemu współautorowi tyle samo punktów co przy autorstwie całkowicie samodzielnym. Tylko jeden wydział stosuje system w pełni proporcjonalnego punktowania autorstwa.
System, w którym w ogóle nie stosuje się podziału punktów w zależności od liczby współautorów, kłóci się jawnie z logiką ekonomiczną. Gdy mamy dwa artykuły o dokładnie takiej samej wartości, z których jeden został napisany przez jednego autora, drugi zaś przez czterech, czy powinniśmy każdego z czterech współautorów nagrodzić tak samo jak osobę pracującą całkowicie samodzielnie? Czy zwykle nie zakładamy, że wydajność produkcji wymaga tego, aby za nakłady początkowe płacić krańcowy przychód z pracy pomnożony przez liczbę pracowników?
Jeżeli publikacja przygotowana przez czterech autorów nie powstała w ten sposób, że każdy z nich wniósł najwyżej 1/4 tego, co zrobiłaby osoba pracująca samodzielnie, to ten zespół jest niewydajny, bo zbyt duży. Gdy zaś każdego współautora traktuje się tak samo jak autora całości, stwarza się system bodźców skłaniających do zespołowego przygotowywania publikacji, nawet jeśli liczba prac napisanych przez czteroosobowy zespół jest niższa od liczby prac na tym samym poziomie, które każdy z nich mógłby przygotować sam lub pracując w mniejszym zespole.
Wydziały ekonomii, które nie obniżają liczby punktów przyznawanych za autorstwo proporcjonalnie do wielkości zespołu pracującego nad publikacją, powinny się wstydzić, że stosują metody oceny zawierające błąd logiczny, którego nie dopuściłyby w elementarnym kursie zasad ekonomii.
Czy w przypadku wydziałów ekonomii nastawionych na prowadzenie badań prawdopodobieństwo racjonalnej oceny autorstwa jest większe? I tak, i nie. Lepsze wydziały częściej niż słabsze stosują system proporcjonalnej oceny współautorstwa. Zdumiewa to, że wśród wydziałów stosujących punktowanie proporcjonalne nieco wyższe procentowe udziały tej metody w łącznych ocenach obserwuje się w przypadku wydziałów wypadających gorzej w rankingach. Prowadzi to do tego, że ogólna skala punktowania proporcjonalnego jest mniej więcej taka sama niezależnie od poziomu wydziału. Stosowanie tego systemu w pełni, czyli 100 proc. w tab. 1 i na wykresie z rys. 1, oznacza, że każdy z n autorów – przy założeniu, że każdy wniósł do pracy tyle samo – otrzyma 1/n punktów przyznawanych za autorstwo całego artykułu. Jeśli systemu proporcjonalnej oceny nie stosuje się w ogóle, każdy z tych autorów będzie traktowany tak, jakby publikację przygotował samodzielnie. Inne wielkości procentowe to odpowiednie wartości w przedziale wyznaczonym przez te ekstrema.
tab
Ponieważ brak systemu polegającego na całkowicie proporcjonalnym punktowaniu współautorstwa powoduje, że racjonalnie postępujący naukowcy pracują w zespołach, których liczebność przekracza wielkość optymalną, powstanie zbyt mało prac w stosunku do populacji autorów. Ta konkluzja zgadza się z obserwacją, że współautorstwo powoduje spadek łącznej produkcji. Jeżeli, jak lubimy zakładać, nasze badania przynoszą pewien pozytywny skutek dla społeczeństwa, to przez niewydajne praktyki badawcze społeczeństwo ponosi straty. Niestosowanie całkowicie proporcjonalnego punktowania współautorstwa mogło się przyczynić do obserwowanego w ekonomii (i innych dziedzinach) w ostatnim pięćdziesięcioleciu podwojenia liczby współautorów prac.
Należy też przypuszczać, że brak zasady proporcjonalnego punktowania współautorstwa powoduje przypadki fikcyjnego autorstwa, kiedy wśród autorów pracy wymienia się osoby, które nie uczestniczą w badaniach. Faktyczni autorzy odnoszą osobiste korzyści w postaci przydatnych przyjaźni (lub podobnych przysług świadczonych przez innych naukowców), a negatywne konsekwencje – jeżeli do jakichkolwiek dochodzi – ograniczają się do poczucia winy z powodu nieuczciwości oraz możliwej kary w razie wykrycia oszustwa.
Podejrzewam przy tym, że kary, które dopuszczają naukowcy w swoich przewidywaniach, są znikome, gdyż należy powątpiewać, czy w przekonaniu środowiska naukowego w ogóle jest to jakimś problemem. Ponieważ fikcyjne autorstwo nie zmienia wielkości faktycznego zespołu badawczego, nie ma bezpośredniego negatywnego wpływu na opracowywanie programów badań. Mogą jednak wystąpić znaczne koszty społeczne, gdy nie nagradza się dostatecznie uczciwych naukowców, których miejsca mogą zająć badacze o gorszych kompetencjach, za to angażujący się w fikcyjne autorstwo.
Skoro dochodzi do niewydajności, to dlaczego stosujemy takie systemy nagradzania? Jeśli chcemy odpowiedzieć, że wynika to z egoistycznych pobudek, trzeba wykazać, że w praktyki nieuczciwego współautorstwa w większym stopniu się angażują pracownicy naukowi mający więcej do powiedzenia na wydziale. Pisze się o dodatniej korelacji między zajmowaniem wyższych stanowisk a większą liczbą przypadków współautorstwa.
Należy też dodać, że przez funkcjonowanie od dziesięcioleci takiego systemu nagradzania pracownicy naukowi będący współautorami częściej niż przeciętnie cieszą się nadmierną reputacją wśród kolegów zajmujących wysokie stanowiska akademickie. Dbałość o własny interes, którą kierują się zajmujący wyższe stanowiska pracownicy naukowi wielokrotnie podpisujący się pod publikacjami jako współautorzy, będzie powodować, że ci naukowcy będą przeciwni pełnemu procentowemu punktowaniu współautorstwa, nawet jeśli zdają sobie sprawę, że spowoduje to spadek liczby publikacji (po korekcie ze względu na ich poziom) przygotowywanych przez pracowników z ich wydziałów.
Troska o własny interes, którą kierują się starsi stażem pracownicy naukowi przy pomiarach produktywności, może także tłumaczyć takie decyzje wydziałów oceniających poziom publikacji naukowych, jakie w innej sytuacji można by uznać za wybory nieracjonalne.
Do oceny poziomu publikacji naukowej zwykle wykorzystuje się trzy rodzaje informacji. Bierze się pod uwagę poziom czasopisma, w którym publikację zamieszczono, to, ile razy publikacja była cytowana oraz opinie wydane na podstawie lektury pracy. Ponieważ decyzja czasopisma zależy tylko od opinii redaktora i kilku wybranych przez niego recenzentów, jest bardzo wiele miejsca na arbitralne decyzje. Cytowania zależą natomiast od całego środowiska akademickiego, toteż prawdopodobieństwo podejmowania arbitralnych decyzji znacznie spada. Wartości płynące z lektury publikacji zależą od tego, kto ją czyta i na podstawie jakich kompetencji wydaje ocenę, a także od stopnia obiektywizmu. Powoduje to, że jest to tę metodę oceny najczęściej niewłaściwie wykorzystują pracownicy naukowi zajmujący wyższe stanowiska akademickie.
W tabeli 2 przedstawiono względne znaczenie tych trzech rodzajów informacji w przypadku awansu pracowników naukowych zajmujących wyższe stanowiska. Zestawienie sporządzono na podstawie odpowiedzi udzielonych przez dziekanów. O poziomie publikacji świadczy przede wszystkim to, gdzie została zamieszczona, choć najlepsze wydziały w mniejszym stopniu polegają na tym mierniku. Najpoważniejszy – poza możliwością wydawania bezpodstawnych pozytywnych ocen – problem wynikający ze stosowania tego miernika polega na tym, że artykuły opublikowane w dowolnym piśmie mogą się znacznie różnić poziomem, przez co wystawianie jakiejś publikacji oceny na podstawie średniego poziomu przypisywanego danemu periodykowi może prowadzić do tego, że ktoś wyrobi sobie błędne przekonanie.
Trzeba też pamiętać, że wprawdzie ocena pracy na podstawie poziomu czasopisma może być dość obiektywna, ale wydziały uczelni mogą wykorzystywać własne rankingi periodyków, sporządzone zgodnie z własnymi stronniczymi kryteriami, które nie muszą mieć związku z jakimkolwiek spójnym systemem oceny.
tab
Chociaż z danych przedstawionych w tabeli 2 mogłoby wynikać, że liczba przypadków cytowania publikacji ma dość duże znaczenie przy ocenie poziomu badań prowadzonych przez pracowników naukowych, twierdzę, że zdecydowanie za mało bierze się ją pod uwagę przy awansach pracowników naukowych na wyższe stanowiska akademickie. Wydaje się, że nie ma raczej uzasadnienia dla przypisywania jakiegokolwiek znaczenia temu, gdzie została zamieszczona dana praca, przy ocenianiu jej poziomu, jeżeli można uzyskać informacje o tym, jak często powoływano się na tę publikację.
Przecież liczba przypadków cytowania pracy mówi o tym, czy ta publikacja wpływa na ukazujące się piśmiennictwo, natomiast to, gdzie się ukazała – nawet przy założeniu, że redakcja była całkowicie bezstronna – ujawnia jakąś prawdę tylko o tym, czy w przekonaniu redaktorów i recenzentów zaakceptowana przez nich praca powinna taki wpływ wywrzeć. Można podejrzewać, że przy ocenie poziomu publikacji do liczby przypadków cytowania tej pracy nie przykłada się większej wagi z tego powodu, że tym wskaźnikiem można manipulować w najmniejszym stopniu.
Oczywiście przytoczenia także powinny być punktowane proporcjonalnie, z tego samego powodu co współautorstwo. Wyniki przeprowadzonej przeze mnie ankiety świadczą jednak o tym, że przytoczeń niemal nigdy nie punktuje się proporcjonalnie (do niedawna zajmowało to wiele czasu, ale od pojawienia się na rynku takich programów jak Publish or Perish Anne–Wil Harzing taka proporcjonalna ocena jest znacznie łatwiejsza).
Wydziały zajmujące niższe miejsca w rankingach na ogół w mniejszym stopniu polegają na własnych ocenach prac. To konkluzja należąca do nielicznych obserwacji zgodnych z zależnościami dotyczącymi wydajności, ponieważ przeciętnie pracownicy tych wydziałów pod względem kompetencji pozwalających oceniać poziom publikacji wypadają prawdopodobnie gorzej niż pracownicy wydziałów osiągających lepsze miejsca w rankingach.
Uwagi końcowe
Czy ekonomiści pracujący na uczelniach prawie wcale się nie różnią od ukazanych w filmie „Moneyball” pracowników klubów bejsbolowych, którzy uporczywie kierowali się tradycyjnymi, niesprawdzonymi zasadami oceny? A może jest tak, że w naszym środowisku zawodowym dominuje szkodzące produktywności zabieganie o własne korzyści? Tak czy inaczej, wszystko wskazuje na to, że nasze systemy oceny nie przyczyniają się do zwiększania produktywności. Być może Brad Pitt powinien zagrać rektora narzucającego jakąś naukową logikę naszym uniwersyteckim sanktuariom.
Stan Liebowitz – profesor ekonomii, wykłada na Uniwersytecie Teksańskim w Dallas i jest dyrektorem Ośrodka Analiz Praw do Własności Intelektualnej i Innowacji (CAPRI)
Artykuł po raz pierwszy ukazał się w VoxEU.org (tam dostępna jest pełna bibliografia). Tłumaczenie i publikacja za zgodą wydawcy.
W ostatnich miesiącach ceny ropy naftowej utrzymywały się w relatywnie wąskim przedziale wahań. Główne czynniki wpływające na rynek tego strategicznego surowca to eskalacja działań wojennych w kilku regionach świata oraz polityka krajów OPEC.
W styczniu 2020 roku Wielka Brytania formalnie opuściła Unię Europejską. Oczekiwane korzyści z brexitu, poza odzyskaniem suwerenności w zakresie kształtowania prawa i zewnętrznych relacji gospodarczych, jednak się nie zmaterializowały. Widoczny jest natomiast spadek wydajności i konkurencyjności brytyjskiej gospodarki, co wpływa także na kondycję rynku pracy.
