Otwarta nauka: co to takiego?

Naukowcy i naukowczynie nie dysponują kodeksem określającym zasady, których powinni trzymać się w swojej pracy. Nie mają także spisanego zestawu przykazań, który podsumowywałby wartości, jakie powinny im przyświecać. Nie oznacza to, że praca naukowa odbywa się bez żadnych reguł i wytycznych. Jedną z prób określenia norm pracy naukowej podjął socjolog Robert Merton w 1942 roku. Zgodnie z nimi, naukowcy powinni oceniać wyniki badań w oparciu o empiryczne dowody, a nie pozamerytoryczne przesłanki takie jak prestiż uczelni czy renoma nazwiska. Powinni otwarcie dzielić się wiedzą z innymi, dążyć do prawdy a nie do swoich jednostkowych interesów, a także zachować sceptycyzm w ocenie dowodów naukowych. O na poziomie generalnym te zasady brzmią bardzo dobrze, powstaje pytanie, w jakim stopniu są one realizowane w codziennej praktyce badawczej.

Melissa Anderson wraz ze współpracownikami zapytali o to ponad 3000 amerykańskich badaczy i badaczki. Wyniki pokazały, że ankietowani badacze w prawie 100 proc. zgodzili się z tym, że mertonowskie normy powinni obowiązywać w nauce oraz deklarowali, że oni sami stosują je w swojej pracy. Jednocześnie badani uważali, że inni naukowcy stosują się do tych norm w znacząco mniejszym stopniu. Oczywiście te wyniki mogą świadczyć o tym, że badacze zbyt pesymistycznie oceniają swoich kolegów i koleżanek, albo też że oceny ich własnego zachowania są zbyt pozytywne. Bez względu na to, czy ocena norm w środowisku naukowym była trafna czy nie, percepcja tak znacznego odstępstwa od norm wskazanych przez Mertona stanowi dość przygnębiający wynik, ponieważ można spodziewać się, że ma ona wpływ na własne zachowanie naukowców. Przykładowo, jeśli badacz sam chciałby dzielić się danymi ze środowiskiem naukowym, ale spodziewa się, że inni tego nie robią, może to wpłynąć na jego ostateczne zachowania bez względu na to, jakie intencje faktycznie mają inni badacze. Jaka zatem jest rzeczywistość i czy przypomina bardziej ideały Mertona czy pesymistyczne przewidywania samych naukowców?

Problemy systemowe

Ożywiona dyskusja nad sposobem uprawiania nauki, jaka się ostatnio toczy, wskazuje, że daleko naukowcom do pełnej realizacji postulatów Mertona. Dyskusja ta trwa oczywiście już od dłuższego czasu, ale została zintensyfikowana pod wpływem podjęcia przez różne grupy badaczy próby zreplikowania istniejących w literaturze badań. W 2015 r. w czasopiśmie „Science” zostały opublikowane wyniki projektu replikacyjnego 100 badań opublikowanych w trzech najbardziej prestiżowych czasopismach psychologicznych. Wyniki odbiły się głośnym echem, ponieważ o ile w oryginalnych badaniach aż 97% wyników było istotnych statystycznie (istność ma oznaczać, że uzyskany wynik nie jest dziełem przypadku, tylko mówi coś faktycznego o rzeczywistości), w badaniach replikacyjnych ten wskaźnik spadł do poziomu 36%. Kolejne projekty replikacyjne w psychologii przyniosły zbliżone wyniki, skłaniając sarkastycznych publicystów do konkluzji, że jedynym efektem, który systematycznie replikuje się w badaniach psychologicznych, jest stopień ich niereplikowalności. Dla tych, którzy chcieliby zrzucić te dość przygnębiające wyniki na karb niedojrzałości metodologicznej psychologii czy szerzej nauk społecznego, mamy smutną wiadomość. Gdy firmy Bayer i Amgen w 2011 r. podjęły próby powtórzenia podstawowych badań nad rakiem, uzyskały równie skromne wyniki, inspirując bardziej systematyczne projekty replikacyjne w medycynie. W ostatnich kilku latach pojawiło się coraz więcej sygnałów sugerujących, że niska od oczekiwanej replikowalność badań naukowych to nie kilka odosobnionych przypadków, ale bardziej systemowy problem. Z czego on zatem wynika? Powodów jest oczywiście więcej, ale tutaj skupimy się na trzech.

Po pierwsze, badacze są „nagradzani” za uzyskiwanie wyników istotnych statystycznie podczas gdy wyniki nieistotne są w dużym stopniu ignorowane. Nagradzanie polega na tym, że takie wyniki są chętniej publikowane przez czasopisma naukowe, za czym idą granty na badania, pozycje na uniwersytetach, i prestiżowe wyróżnienia. Taki sposób funkcjonowania prowadzi do zafałszowania naszej wiedzy na dwa sposoby. Po pierwsze, z perspektywy czysto informacyjnej, ważna jest wiedza nie tylko o tym, co „działa”, ale również o tym, co nie działa. Informacja o tym, że np. bieganie ma pozytywny wpływ na prewencję jakiejś choroby jest oczywiście ważna. Jednocześnie wiedza o tym, że kawa nie ma wpływu na tę chorobę jest również ważna, nawet jeśli tylko dlatego, aby inni badacze nie inwestowali czasu i pieniędzy w ponowne „odkrywanie” tego samego. Po drugie, jeśli np. tylko jedno na sto badań pokazuje, że dany efekt występuje, ale to jedno badanie ma o wiele większe szanse na pojawienie się w formie publikacji, a pozostałe 99 już nie, to obraz wiedzy na dany temat również jest nieadekwatny. Podsumowując, zniekształcenie faktycznego stanu wiedzy poprzez koncentrację tylko na istotnych statystycznie wynikach jest jednym z poważniejszych źródeł niskiej replikowalności nauki.

Drugi powód jest nieco bardziej złożony i wynika on z tego, że badania naukowe narażone są na pewien poziom przypadkowości. Polega to na tym, że czasem wynik naukowy, który wskazuje na dany efekt, możemy uzyskać przypadkowo, nawet jeśli w rzeczywistości on nie występuje. Na przykład, badaczka może uzyskać wyniki wskazujący na to, że testowana przez nią terapia jest skuteczna w porównaniu do placebo tylko dlatego, że grupy eksperymentalna i placebo różniły się już na wstępie charakterystykami, których w eksperymencie nie kontrolowano. Badacze dążą do minimalizacji błędów tego typu, ale zakładają, że pewien – niski – ich poziom jest akceptowalny. Problem pojawia się wówczas, gdy to ryzyko znacząco przewyższa akceptowalny poziom. Dzieje się tak np. wtedy, kiedy badacze nie raportują transparentnie wszystkiego, co zrobili w badaniu. Przykładowo, w artykule możemy przeczytać o badaniu, w którym okazało się, że jabłka leczą migrenę. Wyobraźmy sobie, że badacz w rzeczywistości zbadał nie tylko relację między jedzeniem jabłek a migreną, ale uwzględnił również dziesięć innych owoców poza jabłkami oraz dziesięć innych chorób poza migreną, a istotny statystycznie wynik uzyskał tylko w przypadku tego jednego unikatowego połączenia. W takiej sytuacji ryzyko, że wynik jest zupełnie przypadkowy i nie będzie się replikował w kolejnych badaniach, jest wyższe niż poziom akceptowalny w badaniach naukowych. Brak wiedzy o wszystkich ważnych elementach badania utrudnia obiektywną oceną wartości uzyskanych wyników.

Trzecim źródłem niskiej replikowalności są wreszcie błędy popełniane przez naukowców w badaniach. O ile skłonność do błędów jest naturalną konsekwencją tego, że badacze i badaczki są ludźmi, staje się to problematyczne wtedy, kiedy błędy są trudne do weryfikacji  z powodu braku dostępu do materiałów czy danych. Druga problematyczna kwestia w kontekście błędów powstaje wówczas, kiedy są one trudne do skorygowania, ponieważ czasopisma oraz instytucje wolno reagują nawet wtedy, gdy o błędzie już wiedzą. Niestety, głośne przypadki powolnego reagowania na odkrycia poważnych błędów w publikacjach naukowych skłaniają do pesymizmu jeśli chodzi o samokorygującą się moc nauki.

Elastysczność i prerejestracja

Po wskazaniu problemów z nauką, powstaje naturalne pytanie o to, jak sobie z tym radzić? Przedstawię dwa z zaleceń, które powstały w nurcie tzw. otwartej nauki. Pomimo, że nie są wyczerpujące, adresują wiele z problemów, które trapią obecnie naukę.

Pierwszym lekarstwem na niską przejrzystość badań naukowych jest wymaganie od naukowców dzielenia się materiałami, danymi, oraz analizami z szeroką społecznością naukową i nie tylko. Rzetelność procesu naukowego oparta jest o jakość zebranych i przeanalizowanych danych i jej weryfikacja jest kluczowa dla tego, abyśmy mogli mieć zaufanie do produkowanej wiedzy. Z jednej strony mogłoby się wydawać oczywiste, że naukowcy powinni udostępniać swoją pracę innym zainteresowanym osobom. Jednocześnie różne analizy pokazują, że uzyskanie np. dostępu do danych jest niezwykle trudne a często po prostu niemożliwe. Przykładowo, Tom Hardwicke i John Ioannidis podjęli próbę uzyskania dostępu do danych, z których wyniki opublikowano pomiędzy w latach 2006 – 2011 i 2014-2016 w 111 najczęściej cytowanych artykułach w psychologii i psychiatrii. Pomimo wielokrotnych prób kontaktu, autorzy 68% artykułów nie udostępnili swoich danych, a tylko 14% danych zostało udostępnionych bez żadnych dodatkowych warunków i obostrzeń. Pokazuje to, że odgórnie wdrażane polityki (np. przez czasopisma i instytucje fundujące badania) są konieczne, aby dzielenie się danymi i materiałami stało się dominującą normą.

Drugim ze sposobów radzenia sobie z niską transparentnością procesu prowadzenia badań i analizowania wyników jest prerejestracja. Jest to dokument opisujący hipotezy, metody i planowane analizy statystyczne przygotowany jeszcze przed przeprowadzeniem badania w sposób, który będzie potem publicznie dostępny i weryfikowalny. Dlaczego jest to ważne? Prerejestrowanie badań pomaga przeciwdziałać temu, o czym była mowa wcześniej – nadmiernej elastyczności badaczki w interpretowaniu wyników czy ukrywaniu niewygodnych dla niej wyników. Prerejestracja ma także inne zalety. Ponieważ w wielu dziedzinach teorie są dość ogólnikowo sformułowane, łatwo jest traktować nawet sprzeczne ze sobą wyniki jako potwierdzające teorię. Prerejestracja wymaga z kolei od badacza określenia, jakie wyniki będą interpretowane jako spójne z teorią, a jakie jako niespójne. Prerejestrowanie badań umożliwia także wiedzę o tym, jakie badania są prowadzone, co pozwala na lepszą i szybszą kumulacja wiedzy. Prerejestracja badań klinicznych jest uważana za standard w badaniach medycznych, aczkolwiek analizy pokazują, że stosowanie jej w praktyce jest ciągle jeszcze dalekie od ideału.

Z jednej strony analiza praktyk naukowych pokazuje, że daleko jest im do ideału bezinteresownej nauki, która dąży wyłącznie do prawdy w optymalny i najbardziej efektywny sposób. Z drugiej strony coraz większa liczba inicjatyw, których celem jest doskonalenie i usprawnienie procesu naukowego, tak by coraz lepiej realizował te cele napawa optymizmem co do przyszłości nauki.

Nauka na żywo II: wielkie debaty – zadanie finansowane w ramach umowy 761/P-DUN/2019 ze środków Ministra Nauki i Szkolnictwa Wyższego przeznaczonych na działalność upowszechniającą naukę.

Zobacz wykład dr Katarzyny Jaśko: