Jak czytać prognozy, czyli alibi dla prognosty

12.01.2015
Prognozy ekonomicznie nie są bardzo trafne, a ekonomiści są często – powiedzmy to samokrytycznie - zbyt pewni siebie. Prognozom nie należy więc nadmiernie ufać i zwracać trzeba uwagę nie tylko na średnie, ale także na skrajne scenariusze. Na początku Nowego Roku mamy dużo nowych prognoz. Warto więc przy tej okazji sporządzić krótki przewodnik po świecie prognoz.

infografika DG


Często zdarza mi się, że ludzie najpierw pytają mnie o prognozy, a później konkludują, iż ekonomiści najlepsi są w tłumaczeniu dlaczego ich prognozy się nie sprawdzają. Ze śmiechem przytakuję, bo jest w tym trochę prawdy. Prawda jest jednak też taka, że prognozy trzeba umieć czytać. Dlatego w okresie wzmożonej aktywności prognostycznej, kiedy analitycy produkują raporty z przewidywaniami na nowy rok, a dziennikarze pytają, co się będzie w nowym roku działo, postanowiłem napisać krótki przewodnik po prognozach.

Oto kilka faktów na temat przewidywań ekonomicznych, z których przeciętny odbiorca tych przewidywań może nie zdawać sobie sprawy. Większość przytaczanych tu danych pochodzi z mojej analizy prognoz rynkowych w USA zawartych w bazie danych Banku Rezerwy Federalnej Filadelfii.  Piszę też o polskich prognozach. Dla uproszczenia skupiam się na PKB, ale podobne wnioski można przedstawić w odniesieniu do innych danych.

Po pierwsze, trafność prognoz jest niska

Spytałem kilka osób, które znają gospodarkę i często czytają różne prognozy, ale same prognoz nie wykonują, co intuicyjnie określiliby jako trafną prognozę? Jaki maksymalnie może być błąd prognozy PKB na kolejny rok wykonywanej jesienią (błąd prognozy to różnica między prognozą a ostatecznym odczytem), aby można ją było określić później jako trafną? Chodziło o określenie intuicyjnego pojęcia trafności. Zwykle ludzie odpowiadają, że trafna jest taka prognoza, która nie różni się więcej niż o 0,1-0,2 pkt proc. od ostatecznego odczytu.

Jeżeli tak określimy trafność, to prognozy ekonomiczne wyglądają bardzo słabo. W USA w ostatnich trzydziestu latach średni błąd prognozy konsensusu PKB na dany rok zbieranego jesienią roku poprzedniego wynosi aż 0,9 pkt proc. (a jak piszę poniżej, konsensus trudno jest pokonać). Średni błąd prognozy kwartalnego PKB zbieranej w połowie kwartału, na który jest wykonywana prognoza wynosi aż 0,3 pkt proc. (1,2 pkt w ujęciu zannualizowanym, który lubią przedstawiać Amerykanie). Oczywiście średnią podbijają spektakularne wpadki, notowane zwykle w przypadku recesji czy okresów gwałtownego przyspieszenia wzrostu. W czasach, gdy wzrost jest stabilny, błędy na kolejny rok nie przekraczają zwykle 0,2-0,3 pkt proc. Ale to chyba słabe tłumaczenie, że świat jest bardziej przewidywalny w okresie kiedy niewiele się dzieje.

Przy okazji zastrzeżenie – badając trafność prognoz, wykorzystywałem dane dostępne kwartał po okresie, na który wykonywana była prognoza – nie dane z dziś. Pisząc o konsensusie mam na myśli medianę prognoz poszczególnych analityków.

Trzeba sobie jednak zdawać sprawę, że centralna prognoza (czyli prognoza podawana w formie jednej liczby) jest tylko pewnym uproszczeniem. Jest to środek zakresu prawdopodobnych scenariuszy. Najbardziej uczciwym metodologicznie sposobem podawania prognoz byłoby podawanie tzw. przedziałów ufności, czyli przedziałów, w które prognozy powinny trafiać z określoną częstotliwością. Na przykład 50 procentowy przedział ufności to przedział, w który prognoza powinna trafić w połowie przypadków, a 90 procentowy przedział – w dziewięciu na dziesięć. Dobre prognozy to takie prognozy, które w długim okresie (powiedzmy 5-10 lat) podają dobre przedziały ufności – czyli na 100 moich prognoz, 50 powinno trafić w moje 50 proc. przedziały ufności, a 90 w 90 proc. przedziały.  W Stanach Zjednoczonych rozpiętość 50 proc. przedziału ufności dla jesiennej prognozy na kolejny rok wynosi zwykle ok. 1,5 pkt proc. W Polsce, jak pokażę poniżej, ok. 2 pkt proc.

Kłopot w tym, że przedziały ufności nikogo nie obchodzą – ani mediów, ani inwestorów, ani większości instytucji organizujących rankingi prognostyczne. W mediach pojęcie „przedział ufności” jest zakazane, bo jest niezrozumiałe. Ludzie nie lubią myśleć o rzeczywistości w kategoriach prawdopodobieństwa. Inwestorzy nie zwracają na to uwagi z różnych powodów – nie mają czasu, potrzebują krótkich komunikatów, a poza tym dobrze wiedzą, że każda prognoza jest bardzo niepewna. Analitycy zwykle nie podają więc przedziałów ufności, nikt też nie ewaluuje ich prognoz na tej podstawie. A szkoda, bo…

Po drugie, analitycy bywają zbyt pewni siebie, czyli nie doceniają ryzyka skrajnych scenariuszy

Jest to zjawisko powszechnie rozpoznane w badaniach decyzji menedżerów, inwestorów czy też w opiniach ekspertów w różnych dziedzinach. Wydarzenia, którym przypisuje się małe prawdopodobieństwo zdarzają się dość często. Wśród profesjonalnych analityków ekonomicznych też można to dostrzec. Ma to o tyle istotne praktyczne znaczenie, że każda decyzja opierająca się na jakichkolwiek prognozach powinna brać pod uwagę również konsekwencje scenariuszy skrajnych.

Zauważyłem to zjawisko w ankiecie makroekonomicznej prowadzonej przez NBP. Raz na kwartał bank pyta analityków o prognozy na kolejne lata wraz z przedziałami ufności. Przedziały szacowane na podstawie odpowiedzi analityków wydają się być bardzo wąskie, zbyt wąskie. Ewidentnie nie doceniają oni scenariuszy odległych od prognozy centralnej. Pokazuję to na poniższym wykresie.

W ciągu trzech lat, kiedy prowadzona jest ankieta, 50 proc. przedział ufności dla wzrostu PKB w jesiennej prognozie na kolejny rok ma rozpiętość niecałego 1 pkt proc. Tymczasem sam NBP w swoich projekcjach jesiennych ma rozpiętość analogicznego przedziału ufności na kolejny rok w wysokości ok. 2 pkt proc. i dane historyczne pokazują, że jest to właściwe podejście – NBP „trafia” w przedział w około połowie przypadków. Oczywiście projekcja NBP nie do końca jest prognozą (przyjmuje założenie niezmienionych stóp procentowych), jest również wykonywana w nieco innym momencie niż ankieta makroekonomiczna (około miesiąc później), ale są to różnice, które nie mają tu większego znaczenia. Analitycy są ewidentnie bardziej pewni swoich prognoz – błędnie.

Widocznie analitycy NBP nie przejmują się tak bardzo problemem dużej niepewności prognoz, nie „wstydzą się” pokazać, że ryzyko prognoz jest dość pokaźne. Inne tłumaczenie może być takie, że polscy analitycy nie są przyzwyczajeni do podawania przedziałów ufności (nikt ich wcześniej o to nie pytał), więc jeszcze nie dopracowali dobrych sposobów ich szacowania.

Infografika DG

Po trzecie, w krótkim okresie prognozy rynkowe są w swojej masie bardzo efektywne

To oznacza, że choć prognozy generalnie są mocno niepewne, to bardzo trudne lub wręcz niemożliwe jest formułowanie prognoz systematycznie równie trafnych co konsensus rynkowy. Rynek kumuluje tak szeroki zasób wiedzy na temat trendów gospodarczych, że bardzo trudno jest pojedynczym analitykom czy zespołom analitycznym systematycznie mu dorównać. Wniosek z tego można wyciągnąć taki, że jeżeli chcemy mieć najszerszy i najgłębszy z możliwych ogląd sytuacji gospodarczej i trendów, powinniśmy patrzeć na zbiór prognoz, a nie pojedyncze analizy.

Zjawisko to jest obserwowane w bardzo wielu dziedzinach – skumulowana wiedza wielu ekspertów jest niemal zawsze lepsza niż każdego pojedynczego eksperta. Pokazuję to na poniższym wykresie. W dwóch dekadach – latach 90. i latach 2000. – przeanalizowałem prognozy tych analityków, którzy podawali swoje prognozy przynajmniej przez 30 kwartałów w dekadzie. W każdym przypadku tylko dwóch-trzech analityków wypadło systematycznie lepiej niż konsensus, a przewaga i tak była niewielka. Zdecydowana większość analityków wypadała znacznie gorzej niż konsensus. Na wykresie widać tylko błąd prognoz na bieżący kwartał z lat 2000., ale wniosek jest ten sam, kiedy spojrzymy na prognozy cztery kwartały w przód, zarówno w latach 90. jak i 2000.

Obserwacja ta idzie w parze z kolejną – przy dużej liczbie analityków, poziom analiz jest bardzo wyrównany i trudno zidentyfikować osoby systematycznie lepsze od innych. Widać to na kolejnym wykresie. Korelacja między trafnością prognoz w jednym okresie a trafnością prognoz w kolejnym okresie jest niska, czyli analityk wypadający doskonale w jakimś czasie może wypaść gorzej w kolejnym.

Moja obserwacja, zarówno z przeglądu ankiet amerykańskich jak i uczestnictwa w polskich ankietach, jest taka, że łatwo zidentyfikować dobrych prognostów w krótkim okresie, a trudniej – w dłuższym. Wynika to z faktu, że prognozy w krótkim okresie w dużej mierze opierają się na zbieraniu jak najszerszych zbiorów danych i są po prostu osoby, które czynią to systematycznie lepiej niż inne (np. poświęcają temu więcej czasu, są bardziej kreatywne itd.). Natomiast prognozy długookresowe polegają na dość prostej czynności identyfikacji trendu – jest to czynność na tyle mało skomplikowana, a jednocześnie owiana tak dużą niepewnością, że w grupie ekspertów trudno znaleźć kogoś kto robiłby to systematycznie lepiej niż średnio inni. Łatwiej zwykle zidentyfikować osoby, które robią to systematycznie gorzej (w mediach zwykle jest masa tego typu osób).

Infografika DG

Infografika DG

Po czwarte, komputery nie zwiększają trafności prognoz

To różni prognozy ekonomiczne od prognoz pogody. Te drugie mocno skorzystały na wzroście mocy obliczeniowej komputerów, te pierwsze – nie za bardzo. Zdaje się to sprzyjać tym opiniom, które wskazują, by w ekonomii nie polegać nadmiernie na matematyce.

Mam wrażenie, iż ludzie wyobrażają sobie, że analityk to osoba zagłębiona w dziesiątki lub setki równań i przetwarzająca te równania przez programy o wysokich zdolnościach obliczeniowych. To trochę mylny obraz. Z programów warto korzystać, bo oszczędzają czas i energię. Większa moc obliczeniowa komputerów, większa dostępność danych i zwiększenie liczby równań, na jakich opiera się prognoza, nie czyni jednak prognoz bardziej trafnymi.

Kiedy spojrzymy na trafność prognoz za ostatnie 30 lat i weźmiemy korektę o zmieniającą się wahliwość danych, zobaczymy, że prognozy dziś nie są lepsze niż kiedyś. I to mimo gigantycznego wzrostu dostępnych danych, rosnącej mocy obliczeniowej komputerów, większej liczby analityków biorących udział w prognozach itd.

Po piąte, trafność prognoz nie jest warunkiem ani koniecznym ani wystarczającym, by określić prognozy jako dobre

Liczbom nie powinno się nadmiernie ufać. Moja definicja dobrego analityka jest następująca: jest to ktoś, kto pomaga zrozumieć, jak funkcjonuje w danym momencie gospodarka. Definicja jest więc bardzo względna, bo zależna od oceny słuchającego, ale to jest właśnie clou problemu.

Rolą analityka jest wzbudzenie zaufania wśród odbiorców jego analiz. Czasami ludzie szukają u analityków tylko „podkładki” pod podejmowane decyzje (intuicyjnie wiedzą, co chcą zrobić, ale szukają jeszcze opinii, która im to potwierdzi). Wtedy liczy się przejrzystość i jednoznaczność prognoz. Czasami ludzie szukają jednak potencjalnych źródeł ryzyka. Wtedy liczy się umiejętność dostrzegania bardzo różnych trendów. A czasami ludzie chcą po prostu poszerzyć swoje zrozumienie tego, co się dzieje, i wtedy szukają dobrego opisu.

Znam analityków, których trafność prognoz w rankingach nie jest najwyższa z najwyższych (lub którzy w rankingach nie biorą udziału, lub których wyników z rankingów nie znam), ale których analizy czytam z dużym zainteresowaniem. Stawiają nietuzinkowe tezy i umieją je dobrze uzasadnić – co pozwala poszerzyć horyzont. Udaje im się dostrzec choć raz na jakiś długi czas zjawisko, którego nie dostrzegł nikt inny – zdarza się to rzadko, ale zdecydowanej większości obserwatorów nie udaje się nigdy. Orientują się dobrze w teorii ekonomii, doświadczeniach innych krajów oraz danych – to przynajmniej daje pewność, że znają teren, po którym się poruszają.

Infografika DG

Jakie z tego wszystkiego powinno się wyciągnąć wnioski? Nie można nadmiernie ufać prognozom. Przy podejmowaniu decyzji trzeba kierować się nie tylko prognozami centralnymi, ale też analizować konsekwencje scenariuszy skrajnych. Lepiej słuchać wielu analityków niż jednego, dostrzegać jakość opisu gospodarki, a nie tylko tabelki z liczbami. Wreszcie, trzeba zaakceptować fakt, że przyszłość jest zawsze owiana ogromną niepewnością.


Tagi


  • Piotr Arak pisze:

    Fajne! Tylko jak zmienić to, że wiele osób (klientów, menadżerów etc.) chce mieć to jedną liczbę na samym końcu, a nie scenariusze, które są logiczniejsze?

  • Iwo Augustyński pisze:

    Bardzo dobry artykuł.

  • Mateusz Walewski pisze:

    Edukować, edukować, edukować i czekać…

Dodaj komentarz


8 + = piętnaście

Popularne artykuły

Related Posts


Artykuły powiązane