Historický případ: Replikační krize

Kategorie: Věda, medicína a instituce · Období: od roku 2011 · Místo: mezinárodní vědecká komunita

Replikační krize (replication crisis) se od ostatních případů v této sekci liší tím, že v jejím středu není pachatel. Je to případ, kdy se poznávací systém poškozuje sám: pobídky, publikační zvyklosti a statistické praktiky systematicky produkují nálezy, které jsou spíše přesvědčivé než pravdivé (Ritchie, 2020). Pro Kompendium je důležitá jako připomínka, že epistemickou škodu může vytvářet i struktura bez úmyslu – a že obranou je pak oprava struktury, nikoli hledání viníka.

Krize se nejvýrazněji projevila v sociální psychologii a v preklinické biomedicíně, ale otázky, které otevřela, se týkají každého oboru, který pracuje se statistickým usuzováním z omezených vzorků (Munafò a kol., 2017). Pro čtenáře Kompendia – klinické psychology, psychiatry, forenzní znalce – má přímý praktický dopad: část intervencí a „známých efektů“, na něž se praxe odvolávala, se nepodařilo potvrdit.

Kontext

Kvantitativní věda stojí na předpokladu, že publikovaný výsledek by se při opakování se srovnatelnou metodou objevil znovu. V praxi se replikace publikovaly zřídka: časopisy upřednostňovaly nové a „statisticky významné“ nálezy, kariéry se měřily počtem publikací a negativní výsledky končily v šuplíku – jev, který Rosenthal (1979) nazval problémem šuplíku (file drawer problem).

Už v roce 2005 Ioannidis argumentoval, že za běžných podmínek – malé vzorky, malé efekty, mnoho testovaných hypotéz, flexibilita analýzy – je většina publikovaných pozitivních nálezů pravděpodobně falešná (Ioannidis, 2005). Button a kol. (2013) později doložili, že typická statistická síla studií v neurovědách je nízká, což zvyšuje nejen riziko přehlédnutí skutečného efektu, ale i podíl falešně pozitivních nálezů mezi těmi publikovanými.

Co se stalo

Rok 2011 se obvykle uvádí jako počátek krize v psychologii. Bem (2011) publikoval v prestižním časopise studie údajně dokládající prekognici; metodologicky odpovídaly standardům oboru, což vyvolalo otázku, co tyto standardy vlastně zaručují. Simmons, Nelson a Simonsohn (2011) ukázali, že běžná flexibilita v analýze dat umožňuje „prokázat“ téměř cokoli. Ve stejném roce byl odhalen podvod Diederika Stapela.

V roce 2012 Begley a Ellis (2012) uvedli, že se v laboratořích firmy Amgen podařilo potvrdit jen 6 z 53 „přelomových“ preklinických studií v onkologii. Téhož roku průzkum mezi psychology ukázal, že sporné výzkumné praktiky – například selektivní uvádění proměnných nebo rozhodnutí o ukončení sběru dat podle průběžných výsledků – přiznávala podstatná část respondentů (John, Loewenstein a Prelec, 2012). V roce 2013 vzniklo Center for Open Science a časopis Cortex zavedl formát Registered Reports (Chambers, 2017).

V roce 2015 zopakovala Open Science Collaboration 100 psychologických studií publikovaných ve třech předních časopisech. Statisticky významný výsledek vyšel u 97 % originálů, ale jen u 36 % replikací; průměrná velikost efektu klesla zhruba na polovinu (Open Science Collaboration, 2015). Projekt replikoval experimentální psychologické studie, nikoli randomizované klinické studie (RCT); podíl 36 % se týká statisticky významných replikací, subjektivně za úspěšné označili replikátoři zhruba 39 % pokusů.

V roce 2016 nenašla rozsáhlá mnohalaboratorní replikace „vyčerpání ega“ efekt odlišitelný od nuly (Hagger a kol., 2016) a Americká statistická asociace vydala prohlášení o správném užívání p-hodnot (Wasserstein a Lazar, 2016). V roce 2018 se z 21 společenskovědních experimentů publikovaných v Nature a Science podařilo replikovat 13 (Camerer a kol., 2018).

Epistemické mechanismy

Publikační filtr

Časopisy, recenzenti i grantové agentury upřednostňovaly pozitivní, nové a překvapivé výsledky (Rosenthal, 1979). Literatura tím přestala být reprezentativním vzorkem provedených studií – vznikla selektivní expozice na úrovni celého oboru, kterou nikdo neřídil, ale všichni udržovali.

Flexibilita analýzy

Takzvaný p-hacking – zkoušení analýz, dokud nevyjde významnost – a „zahrada rozvětvených cest“ (garden of forking paths), tedy rozhodnutí o analýze ovlivněná daty, vytvářejí falešně pozitivní nálezy i bez vědomého podvodu (Gelman a Loken, 2014). HARKing – formulování hypotéz až po poznání výsledků, jak ho pojmenoval Kerr (1998) – je strukturně příbuzný strategické reinterpretaci: výsledek se dodatečně vydává za předpověď.

Autorita místo opakování

Nálezy citované v učebnicích a populárních knihách získaly status faktu dříve, než byly nezávisle ověřeny (Ritchie, 2020). Nesoulad replikace s originálem se pak vykládal jako chyba replikátora. Projevuje se tu konfirmační zkreslení na úrovni komunity a nepřiměřená sebejistota vůči slabým datům.

Reakce na kritiku

Část diskuse o replikacích provázely osobní útoky a pojmy jako „metodologický terorismus“ (Ritchie, 2020). Tento obranný vzorec – posun od obsahu kritiky k osobě kritika – je z hlediska Kompendia markerem, nikoli argumentem. Zároveň je třeba přiznat, že i kritika replikací může přerůst ve veřejné zostuzování autorů, kteří postupovali v dobré víře podle tehdejších norem; obě strany sporu tak mohou sklouznout od metody k osobám (Chambers, 2017).

Dopady na jednotlivce a společnost

Doktorandi a mladí vědci stavěli projekty na nálezech, které se ukázaly jako nespolehlivé, a ztráceli roky práce (Chambers, 2017). Kliničtí odborníci i veřejnost přejímali intervence a populární „životní rady“ opřené o neověřené efekty. Ve veřejném prostoru krize posloužila i jako munice pro obecnou nedůvěru ve vědu – přestože její odhalení je dílem samotné vědy (Ritchie, 2020).

Pro psychologii a psychoterapii, k nimž se Kompendium obrací, z toho plyne praktický důsledek: i dobře známý efekt si zaslouží otázku, zda byl nezávisle replikován (Open Science Collaboration, 2015). To platí i pro koncepty, které Kompendium samo používá – část výzkumu manipulace a vlivu stojí na studiích z období před reformami.

Odlišení od příbuzných jevů

Replikační krizi je třeba odlišit od vědeckého podvodu. Sporné výzkumné praktiky nejsou totéž co vymýšlení dat; vznikají z tlaku, nejasných norem a zkreslených pobídek, a jejich aktéři je často nepovažovali za problém (John, Loewenstein a Prelec, 2012). Případ Stapela ukazuje, že podvod v tomto prostředí prosperoval, ale krize jako celek je strukturální jev.

Odlišit je třeba i krizi od tvrzení, že věda „nefunguje“. „Nereplikováno“ neznamená automaticky „nepravdivé“: replikace mohou selhat kvůli rozdílům v populaci, kontextu nebo provedení (Open Science Collaboration, 2015). Míra krize se liší podle oborů a není důvodem k plošnému odmítání vědeckého poznání.

Odhalení, dokumentace a vyrovnání

Krize je příkladem úspěšné vnitřní korekce (Munafò a kol., 2017). Reformy zahrnují předregistraci (Nosek a kol., 2018), Registered Reports, sdílení dat a analytického kódu, větší vzorky podložené analýzou síly testu, důraz na velikost účinku a systematické replikační projekty.

Rozsah přijetí reforem se mezi obory a časopisy stále výrazně liší (Chambers, 2017). Formát Registered Reports, v němž časopis přijímá studii k publikaci podle kvality otázky a metody ještě před sběrem dat, odstraňuje motivaci výsledky „vylepšovat“ a patří k nejpřímějším strukturálním odpovědím na publikační filtr.

Poučení pro detekci a obranu dnes

U každého nálezu, zejména v klinickém a forenzním využití, je užitečné nejprve zjistit, zda byla studie předregistrována a zda analýza odpovídá registraci (Nosek a kol., 2018). Druhou otázkou je, zda existuje nezávislá replikace, ideálně od jiného týmu.

Třetí otázka se týká velikosti vzorku a efektu: velký efekt z malého vzorku je spíše varovný signál než důvod k nadšení (Button a kol., 2013). Čtvrtou je dostupnost dat a kódu. Pátou je, zda se doporučení opírá o jednotlivou studii, nebo o metaanalýzu korigovanou na publikační zkreslení (Rosenthal, 1979).

Pro instituce plyne z krize, že je třeba hodnotit vědce podle kvality a otevřenosti práce, nejen podle počtu publikací; chránit autory replikací před odvetou; publikovat negativní výsledky (Munafò a kol., 2017). Viz publikační etika.

Hranice výkladu

Odhady podílu nereplikovatelných nálezů závisejí na zvoleném kritériu úspěchu replikace a na výběru studií, a nelze je přenášet z jednoho oboru na jiný (Open Science Collaboration, 2015). Totéž platí pro výzkum epistemických útoků samotný – viz replikace EA výzkumu.

Otevřenou otázkou zůstává, zda reformy zlepšují spolehlivost nových nálezů v míře, v jaké se o nich mluví; první zkušenosti jsou povzbudivé, ale dlouhodobé hodnocení teprve probíhá (Nosek a kol., 2018). Výklad krize jako „konce důvěry ve vědu“ je interpretací, kterou citovaná literatura nesdílí: popisuje ji jako fázi sebeopravy (Ritchie, 2020).

Literatura

• Begley, C. G., & Ellis, L. M. (2012). Raise standards for preclinical cancer research. Nature, 483.
• Bem, D. J. (2011). Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and affect. Journal of Personality and Social Psychology, 100(3).
• Button, K. S., a kol. (2013). Power failure: Why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience, 14(5).
• Camerer, C. F., a kol. (2018). Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015. Nature Human Behaviour, 2.
• Chambers, C. (2017). The Seven Deadly Sins of Psychology: A Manifesto for Reforming the Culture of Scientific Practice. Princeton University Press.
• Gelman, A., & Loken, E. (2014). The statistical crisis in science. American Scientist, 102(6).
• Hagger, M. S., a kol. (2016). A multilab preregistered replication of the ego-depletion effect. Perspectives on Psychological Science, 11(4).
• Ioannidis, J. P. A. (2005). Why most published research findings are false. PLoS Medicine, 2(8).
• John, L. K., Loewenstein, G., & Prelec, D. (2012). Measuring the prevalence of questionable research practices with incentives for truth telling. Psychological Science, 23(5).
• Kerr, N. L. (1998). HARKing: Hypothesizing after the results are known. Personality and Social Psychology Review, 2(3).
• Munafò, M. R., a kol. (2017). A manifesto for reproducible science. Nature Human Behaviour, 1.
• Nosek, B. A., a kol. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11).
• Open Science Collaboration (2015). Estimating the reproducibility of psychological science. Science, 349(6251).
• Ritchie, S. (2020). Science Fictions: Exposing Fraud, Bias, Negligence and Hype in Science. Bodley Head.
• Rosenthal, R. (1979). The file drawer problem and tolerance for null results. Psychological Bulletin, 86(3).
• Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11).
• Wasserstein, R. L., & Lazar, N. A. (2016). The ASA statement on p-values: Context, process, and purpose. The American Statistician, 70(2).

Související

Sousední případy

• Stapelův podvod – úmyslný podvod, který krizi urychlil.
• Schönův podvod – selhání kontroly ve fyzice.
• Studená fúze – replikace jako rozhodující test.

Techniky a pojmy

• Replication Crisis – heslo ve slovníku.
• Konfirmační bias – kognitivní kořen.
• Falsifikovatelnost – kritérium testovatelnosti.
• Epistemická pokora – postoj, který krize vyžaduje.

Klinika, právo a obrana

• Předregistrace – hlavní strukturální oprava.
• Replikační výzkum – jak replikace navrhovat.
• Publikační etika – odpovědnost časopisů a autorů.