Zagubieni w liczbach

Jeszcze do niedawna, gdy pytano nas o satysfakcję z pracy albo zadowolenie z życia, szukaliśmy najwłaściwszych słów i wyrażeń, które byłyby w stanie oddać nasze przekonania i uczucia. Ostatnią rzeczą, jaka mogła przyjść nam wtedy do głowy, było włączenie w ten opis liczb. Świat pomiarów liczbowych wydawał się zupełnie obcy i nieprzystający do tego rodzaju rozważań. Podobnie jak nieadekwatny wydawał się do opisu osiągnięć artystów, naukowców czy lekarzy. Modne wręcz było ignorowanie wszelkich liczb i statystyk w gronie osób uważających się za humanistów. Nie używali oni liczb ani matematycznego języka. No, chyba że byli takimi artystami jak Picasso, który – jak głosi anegdota – próbował pewnej Amerykance wyjaśnić sens wolności artystycznej prostym językiem matematyki: „Nie zrozumie pani sztuki, dopóki nie przyjmie pani, że w sztuce 1+1 może dać każdą liczbę z wyjątkiem 2”.

Stopniowo jednak również w ich świat, tak wytrwale opierający się wszelkim liczbowym pomiarom, zaczęły wkraczać mierniki. Znaczenie zyskiwała liczba widzów, wartość przyznanej dotacji albo wskaźnik zadłużenia teatru lub innej instytucji kultury. Oczywiście już wcześniej wszystkie te miary liczbowe zagościły w codziennym funkcjonowaniu większości innych sfer życia społecznego i gospodarczego. Czy jedyną tego przyczyną był dynamiczny i ekspansywny rozwój technologii komputerowych, które, jak wiadomo, preferują język numeryczny? A może informatyka była tylko sprzymierzeńcem pewnego trendu, który zrodził się we współczesnym świecie z przekonania o prymacie opisu i pomiaru liczbowego?

Pomierzyć wszystko

Zwolennicy kwantyfikacji pomiarów i ocen chętnie powołują się na maksymę XIX-wiecznego fizyka irlandzkiego Williama Thomsona (znanego też jako Lord Kelvin), w myśl której, jeżeli nie możesz czegoś zmierzyć, nie będziesz potrafił tego ulepszyć. Stąd warunkiem wszelkiej poprawy i postępu uczynili zdolność do mierzenia. Pomiarowi liczbowemu przypisali cechy bezstronności i dokładności. A więc cechy będące w opozycji do ludzkiego subiektywizmu, indywidualnego doświadczenia i towarzyszących każdemu z nas emocji. Obiektywizm i jednoznaczność liczbowych ocen zyskały dość szybko niemal powszechne uznanie. Uwolniły oceniane osoby i instytucje od ryzyka subiektywnego postrzegania ich przymiotów i działań, a oceniających od konieczności poszukiwania jakościowych kryteriów – zawsze mniej jednoznacznych od liczb. Już od dawna przyzwyczailiśmy się do liczbowego pomiaru inteligencji (IQ), punktowego pomiaru zdolności kredytowej przez banki (tzw. credit scoring), a nawet do punktowej oceny stanu zdrowia noworodka (od 0 do 10 według skali Apgar). Doceniamy wygodę szybkich porównań wskaźników liczbowych i pozycji w rankingach. Zaakceptowaliśmy także wyrażany liczbowo poziom zadowolenia z życia za pomocą popularnego w świecie indeksu szczęścia (index of happiness). Postrzeganie tego typu mierników jako obiektywnych i precyzyjnych, a do tego wolnych od wpływu opinii ekspertów i nielubianych ostatnio elit, nie jest jedynym powodem oswajania się nas wszystkich z liczbami i statystykami.

Równie powszechne wydaje się przekonanie o tym, że im więcej liczbowych pomiarów w działalności instytucji publicznych, tym lepsza kontrola nad wydatkowaniem przez nie naszych wspólnych pieniędzy. Poznanie przez podatników syntetycznych miar opisujących nakłady finansowe, strukturę poniesionych kosztów oraz uzyskanych efektów w tych instytucjach zwiększa – w opinii wielu osób – transparentność ich działań. Tworzy także przesłanki pozwalające ocenić ich odpowiedzialność za otrzymane środki publiczne. Dlatego większości z nas nie dziwią liczbowe mierniki odnoszące się do działalności teatrów, uczelni czy wspieranych jednoprocentowym odpisem podatkowym organizacji pożytku publicznego. Darczyńcy przyjęliby pewnie z zadowoleniem informacje o tym, jaką część środków finansowych danej organizacji pochłonęły wydatki osobowe, związane z obsługą administracyjną i zarządzaniem. Uzyskanie wiedzy na ten temat pozwoliłoby z kolei na określenie jakiegoś mierzalnego celu (benchmark), wyrażającego oczekiwany poziom ekonomicznej efektywności wspieranej organizacji.

Formułowanie tego typu ilościowych celów, jako bodźców do określonych działań i zachowań, stało się w ostatnich latach szczególnie powszechne w polityce motywacyjnej przedsiębiorstw i instytucji. O ile już w przeszłości oczywistym było wykorzystywanie norm i mierników w działalności gospodarczej, o tyle współczesne zarządzanie narzuciło mierniki liczbowe także pracom wykonywanym przez nauczycieli, policjantów, lekarzy czy naukowców. Dla przełożonych odpowiednie zestawy mierników są wygodną formą kontroli i rozliczania efektów pracy podwładnych. Dla całej organizacji natomiast nie muszą one być wcale korzystne. Zwykle bowiem wskaźniki te obejmują jedynie niektóre sfery jej działalności, a ostateczny cel, do osiągnięcia którego mają motywować, nie zawsze jest zgodny z misją i celem organizacji.

Szkoła na trzy i pół

Jeśli o renomie szkoły średniej decyduje pozycja w ogólnokrajowym rankingu – jak ma to miejsce m.in. w Wielkiej Brytanii – a pozycja ta jest zdeterminowana przede wszystkim procentowym udziałem uczniów uzyskujących z końcowego egzaminu (GCSE) oceny od C wzwyż (tj. A–C), to procent ten staje się dla dyrekcji szkół rodzajem fetyszu. Prowadzi do nadmiernej koncentracji uwagi i wysiłku nauczycieli na uczniach z pogranicza ocen D i C. Skutkiem tego jest – jak twierdzą specjaliści – zaniedbywanie uczniów dobrych i bardzo dobrych. O ile więc angielscy 10-latkowie w swoich matematycznych umiejętnościach nie odbiegają od rówieśników z innych krajów, to już jako 16-latkowie są wyraźnie gorsi – stwierdza raport brytyjskiego Instytutu Edukacji sprzed kilku lat. Co ciekawe, podobną skłonność do ograniczania wysiłku w stosunku do tych zadań, które nie wiążą się z osiąganiem ilościowych mierników, zauważyli ekonomiści Bengt Holmström (laureat Nagrody Nobla w dziedzinie ekonomii) oraz Paul Milgrom wśród robotników. Mechanizmy tego zachowania opisali w swoich pracach na temat teorii kontraktu.

Liczbowe pomiary mają więcej ograniczeń i słabości. Stanowią wszak zawsze pewne uproszczenie opisywanej rzeczywistości, podobnie jak liczby, będące jej niedoskonałym odwzorowaniem. Gdy jednak w cały ten system dokonywania kolejnych pomiarów i konstruowania nowych wskaźników włącza się technologia komputerowa, znacznie ułatwiająca ich praktyczne zastosowania, tracą na znaczeniu głosy krytyki. I mimo że niektórzy mówią już o obsesji mierzenia i dyktacie liczb, to zdaje się, że nic nie jest w stanie zatrzymać pędzącego pociągu. Zalety pomiarów liczbowych zdają się przeważać nad ich ograniczeniami. Ale czy rzeczywiście przeważają?

Opisem liczbowym obejmujemy coraz więcej dziedzin naszego życia, ale przede wszystkim mierzymy to, co najłatwiej jest zmierzyć, a niekoniecznie to, co jest najważniejsze. Zarówno w naszej pracy zawodowej, która służy realizacji różnych celów, jak i w funkcjonowaniu przedsiębiorstw lub instytucji liczbowe wskaźniki dotyczą jedynie tych celów, które łatwo jest skwantyfikować. Na przykład jakość pracy urzędnika ocenia się na podstawie jego absencji i spóźnień do pracy. Jakość pracy naukowca – liczbą cytowań jego publikacji w zagranicznych czasopismach. A złożone cele, realizowane przez uniwersytet, ocenione zostają na podstawie pozycji w rankingu szanghajskim, uwzględniającym jedynie liczbę nagrodzonych oraz często cytowanych naukowców z danej uczelni, a także liczbę publikacji w prestiżowych czasopismach (kształcenie studentów jest w tych kryteriach nieobecne). Pomiar tego, co mało istotne, jeżeli staje się kryterium ocen, ma zwykle dalsze konsekwencje. Skłania do koncentracji wysiłków na tych działaniach, które służą wyłącznie poprawie wartości określonego wskaźnika. Drugorzędne stają się inne, często ważniejsze cele.

Usilne dążenie do zmierzenia złożonych efektów jakościowych (np. efektów leczenia lub kształcenia) kończy się często rezygnacją z pomiaru efektu na rzecz pomiaru nakładu. Ten ostatni, wyrażony najczęściej wartościowo, nie stwarza już żadnych problemów pomiarowych. Tyle że informuje, niestety, o czymś innym i zwykle jest mocno niedoskonałą aproksymacją ostatecznego efektu. Cóż bowiem można powiedzieć o poprawie sprawności naszej armii, wiedząc jedynie, że wydatki na obronę narodową wzrosły w bieżącym roku o 10 proc. w stosunku do roku ubiegłego? Podobnie jest z innymi usługami publicznymi. Ilościowy pomiar nakładów wykorzystuje się pochopnie do wnioskowania o efektach, a niekiedy nawet o jakości działania. W USA nakłady na ochronę zdrowia w przeliczeniu na głowę mieszkańca (9403 dolarów) są prawie dwukrotnie wyższe niż przeciętnie w najbogatszych krajach (np. w Niemczech wynoszą 5182 dol., we Francji 3661 dol.), co jednak niewiele mówi o efektywności ich wykorzystania. Amerykańska służba zdrowia jest od dawna oceniana gorzej niż francuska czy niemiecka.

Podkręcanie wskaźników

Stosowanie mierników ilościowych do oceny pracy jednostek i organizacji stwarza często pokusę manipulacji ich wartościami – legalnej, quasi-legalnej i nielegalnej. Jeżeli szpital jest nagradzany za liczbę obsłużonych pacjentów, to unikać będzie tych, którzy wymagają dłuższego leczenia i skomplikowanych terapii. Gdy naukowcy otrzymują bonusy za wyższy wskaźnik Hirscha (wskaźnik cytowań w wysokiej rangi czasopismach), to koncentrują swój wysiłek na poszukiwaniu takich czasopism, które zapewniają stosunkowo łatwe przejście przez proces recenzowania, niezależnie od faktycznego kręgu czytelników. Inny przykład poprawiania wskaźników podaje Jerry Z. Muller w swojej najnowszej książce „The Tyranny of Metrics”. Kiedy w Wielkiej Brytanii, w celu skrócenia czasu oczekiwania pacjentów na oddziale ratunkowym, wprowadzono kary dla szpitali za czas oczekiwania dłuższy niż cztery godziny, personel szybko dostosował się do nowej sytuacji. Pacjentów przetrzymywano dłużej w karetkach pogotowia ustawiających się w kolejce przed wejściem do szpitala, aby jak najpóźniej zegar zaczął odliczać moment dostarczenia pacjenta na oddział ratunkowy. O podobnych sytuacjach pisze się także w odniesieniu do pracy policji, która w zależności od danego wskaźnika skłonna jest nie rejestrować pewnych zdarzeń, albo przeciwnie – sztucznie podwyższa liczbę interwencji.

Jerry Z. Muller zwraca uwagę na jeszcze jedno zagrożenie wynikające z nadmiernego przywiązania się przedsiębiorstw do ilościowych mierników. Wszystkie one obejmują stosunkowo krótkie przedziały czasu: miesiąca, kwartału, roku. Horyzont czasowy pomiarów i ocen rzadko wykracza poza 12 miesięcy. Skłania to prezesów firm, a także zwykłych pracowników do zachowań nakierowanych na optymalizację krótkookresowych efektów. Z trudem są oni w stanie zaakceptować przedsięwzięcia, np. inwestycyjne, które często wiążą się z chwilowym obniżeniem wyceny danej spółki na giełdzie lub obniżeniem pozycji w rankingu (albo miejsca klubu piłkarskiego w tabeli rozgrywek). Mierniki te motywują do myślenia i działania krótkookresowego. Podobny jest zresztą efekt działania sondaży na polityków i samorządowców. Rzadko przejawiają oni zainteresowanie czymś, co wykracza poza termin kolejnych wyborów.

Taki krótkookresowy pozytywny efekt, mierzony pozycją w rankingu, osiągnęła polska reprezentacja w piłce nożnej, która pod opieką trenera Adama Nawałki awansowała w klasyfikacji FIFA z dalekiego miejsca na miejsce ósme. Niewielka liczba meczów towarzyskich w latach 2016 i 2017, w większości z nie najsilniejszymi sparingpartnerami, na pewno pomogła w tym awansie. Zresztą awansie dość boleśnie zweryfikowanym podczas tegorocznego mundialu. Organizacje piłkarskie być może same dostrzegły ułomności tego rankingu i stąd nowa inicjatywa rozgrywania spotkań drużyn narodowych w ramach Ligi Narodów UEFA. Zmniejszy się wpływ spotkań towarzyskich reprezentacji i własnego doboru w nich partnerów na pozycję w rankingu. Samo zaś znaczenie rankingu w kręgach piłkarskich na pewno wzrośnie.

Współcześnie, gdy podważono wiele autorytetów i zakwestionowano kompetencje ekspertów (co ilustruje choćby ruch antyszczepionkowy), dość łatwo dajemy się przekonać, że alternatywą dla wiedzy i doświadczenia profesjonalistów są obiektywne pomiary. Taką cechę jesteśmy skłonni przypisać testom w szkołach, wskaźnikom finansowym w przedsiębiorstwach, pozycjom w rankingach, wskaźnikom poparcia w sondażach. Czy jednak zawsze test egzaminacyjny oceni lepiej od nauczyciela wiedzę i umiejętności ucznia, a wskaźniki finansowe więcej powiedzą o kondycji przedsiębiorstwa niż doświadczony w kierowaniu nim właściciel? Pomiar liczbowy, aczkolwiek coraz powszechniejszy w różnych zastosowaniach, nie musi być traktowany jako konkurencyjny względem kompetencji człowieka. Przeciwnie, to zgromadzona przez człowieka wiedza i zdobyte doświadczenie powinny wskazywać: co mierzyć, jak mierzyć oraz gdzie odpowiednie mierniki stosować i jak je interpretować. Warto mieć też na uwadze skutki niezbędnych uproszczeń liczbowego pomiaru i często nieoczekiwane tego konsekwencje.

Mirosław Szreder