Replikační krize (replication crisis)

Definice

Replikační krize (replication crisis, též krize reprodukovatelnosti) je empiricky doložené zjištění, že značná část publikovaných výzkumných nálezů se při opakování podle stejných protokolů nepotvrdí. Určujícím milníkem byl koordinovaný pokus zopakovat sto studií ze tří předních psychologických časopisů, v němž se podle zvoleného kritéria původní efekt podařilo reprodukovat ve 36 až 47 procentech případů a průměrné velikosti efektů byly zhruba poloviční proti originálům (Open Science Collaboration, 2015).

Krize se neomezuje na psychologii. V preklinické onkologii se v jedné farmaceutické laboratoři podařilo reprodukovat šest z padesáti tří přelomových výsledků (Begley a Ellis, 2012); v experimentální ekonomii se potvrdilo přibližně jednašedesát procent laboratorních experimentů z předních časopisů (Camerer a kol., 2016). Pojem tedy neoznačuje jednotlivé pochybení, nýbrž vlastnost systému, který nálezy vybírá a publikuje (Ioannidis, 2005).

Původ a kontext pojmu

Varování předcházela samotné krizi. Rosenthal pojmenoval problém šuplíku, tedy skutečnost, že studie s nulovým výsledkem se nepublikují, takže publikovaná literatura je zkreslenou částí provedeného výzkumu (Rosenthal, 1979). Kerr popsal formulování hypotéz až po známých výsledcích a ukázal, že tento postup vytváří teorie, které nemají žádnou předpovědní hodnotu, ač se jako předpovědi prezentují (Kerr, 1998). Ioannidis z předpokladů o síle studií a o podílu pravdivých hypotéz v daném oboru dovodil, že u mnoha výzkumných polí je pravděpodobnost pravdivosti publikovaného pozitivního nálezu nižší než jedna polovina (Ioannidis, 2005).

Rozhodující krok k pochopení příčin přinesla analýza analytické volnosti. Simmons a kol. ukázali, že nepříliš nápadná rozhodnutí při zpracování dat – kdy sběr ukončit, které proměnné zahrnout, které účastníky vyřadit – stačí k tomu, aby podíl falešně pozitivních výsledků výrazně překročil nominální hladinu, aniž by autor musel cokoli zamlčet (Simmons a kol., 2011). Gelman a Loken k tomu dodali, že tento jev nevyžaduje úmysl ani opakované zkoušení: stačí, že by výzkumník při jiných datech zvolil jinou analýzu (Gelman a Loken, 2014).

Druhou příčinou je nízká statistická síla. Button a kol. doložili, že typická velikost vzorku v neurovědních studiích vede k síle, při níž se skutečné efekty často nenajdou a nalezené efekty jsou nadhodnocené (Button a kol., 2013). Třetí příčinou jsou pobídky: tlak na publikační výstup souvisí s vyšším podílem pozitivních výsledků v dané zemi i v daném oboru (Fanelli, 2010).

Krize vyvolala program reforem. Patří k nim předregistrace, registrované zprávy, u nichž časopis rozhoduje o přijetí podle protokolu ještě před sběrem dat (Chambers, 2013), replikační konsorcia více laboratoří (Klein a kol., 2014), požadavky na otevřená data a analytické postupy (Nosek a kol., 2015) a souhrnně formulovaný program reprodukovatelné vědy (Munafò a kol., 2017).

Jak se projevuje

Pro čtenáře mimo akademii se krize projevuje nejprve na způsobu, jak se výsledky citují. Jediná působivá studie se uvádí jako „vědecky dokázáno“, efekt se při opakování zmenšuje nebo mizí a populární knihy i kurzy stavějí na nálezech, které se zopakovat nepodařilo (Open Science Collaboration, 2015). Druhým znakem je nahrazení otázky po síle dokladu odkazem na formu: argument „je to recenzované“ zastoupí otázku po velikosti vzorku, předregistraci a replikacích (Munafò a kol., 2017).

Třetím, zrcadlovým znakem je cynická reakce, podle níž je „věda jen názor“. Tento závěr z dat neplyne: nižší podíl replikovaných nálezů znamená, že jediná studie unese menší posun důvěry, ne že nelze vědět nic (Ioannidis, 2005). Právě tento rozdíl bývá v praxi zneužíván (interpretace knihy).

Mechanismus

Strukturně jde o selekci. Publikovaná literatura není vzorkem provedeného výzkumu, nýbrž vzorkem výsledků, které prošly filtrem novosti a statistické významnosti; filtr přitom nadhodnocuje právě ty efekty, které jsou slabé a nejisté (Rosenthal, 1979). Výsledkem je soustava, v níž se jednotlivé články chovají správně podle pravidel oboru, a přesto souhrn systematicky zkresluje (Ioannidis, 2005).

Druhou složkou je nepoměr mezi silou dokladu a jeho společenským signálem. Status recenzované publikace je silný signál, jenž je přitom na jednotlivé studii téměř nezávislý na replikovatelnosti oboru i na síle konkrétního designu (Button a kol., 2013). Interpretace knihy: tím se publikovaný výzkum stává přenosným nástrojem autority – nálezy s nízkou mírou replikace lze předložit jako rozhodující doklad a opřít o ně nárok, který by vlastními silami neobstál. Kniha tento vzorec vede u expertní disinflace a u pseudovědy.

Třetí složkou je kalibrace. Z replikační literatury neplyne jednotný opravný koeficient, ale plyne z ní, že očekávaná velikost efektu je nižší než publikovaná a že obor, design a předregistrace jsou pro posouzení podstatnější než prestiž časopisu (Open Science Collaboration, 2015). Postupy, jimiž kniha tento rozdíl zpracovává, popisuje stránka epistemická kalibrace.

Odlišení

Od podvodu ve vědě je nutné krizi odlišit zřetelně. Většina nereplikovaných nálezů není výsledkem falšování, nýbrž nízké síly, analytické volnosti a publikačních pobídek, které působí i u bezúhonných autorů (Simmons a kol., 2011). Případy falšování dat existují a mají vlastní režim, ale vysvětlují jen malou část problému (Fanelli, 2010).

Od popírání vědy se liší směrem, odkud zjištění přišlo: replikační krize byla popsána a vyčíslena vědeckými metodami a vedla ke změně postupů, takže ji nelze použít jako doklad toho, že vědě nelze věřit (Nosek a kol., 2015). Od přirozené nejistoty se liší tím, že jednotlivý falešně pozitivní výsledek je očekávanou vlastností statistického usuzování, kdežto krize popisuje systém, který takové výsledky selektivně zesiluje (Rosenthal, 1979).

Od falsifikace se liší důkazní váhou: neúspěšná replikace původní hypotézu sama nevyvrací, ukazuje však, že doklad pro ni byl slabší, než se zdálo, a že rozhodnout lze až souborem replikací (Klein a kol., 2014).

Význam pro Kompendium

Pro knihu má krize dvojí význam. Prvním je vodítko pro práci s doklady: posun důvěry na základě jediné publikované studie má být menší v oborech s doloženě nízkou replikovatelností a větší tam, kde je nález potvrzen více pracovišti a předregistrovanými protokoly (Klein a kol., 2014).

Druhým významem je sebeomezení. Kniha se opírá o empirickou literaturu o traumatu, manipulaci a skupinách s vysokou kontrolou, jejíž část má malé vzorky, obtížně replikovatelné designy a chybějící předregistraci (Munafò a kol., 2017). Dopad na samotnou taxonomii rozebírá kritická kapitola Reprodukční krize a EA výzkum; postoj, který z toho plyne, vede heslo epistemická pokora.

Obrana a zotavení

Pro čtenáře a klienty je použitelným nástrojem několik otázek, jimiž lze posoudit sílu dokladu bez odborné přípravy: kolik studií tvrzení podporuje, jak velké byly vzorky, zda byla studie předregistrována a zda ji nezávisle zopakoval někdo jiný (Munafò a kol., 2017). Rozdíl mezi formulací „jedna studie ukázala“ a „výzkum opakovaně ukazuje“ je přitom větší než rozdíl mezi časopisy (Open Science Collaboration, 2015); nácvik vede návod hodnocení důkazů.

Pro profesionály z krize plyne přednost metod s replikovanou oporou a povinnost komunikovat nejistotu otevřeně, protože zamlčená nejistota se později stává argumentem proti celému oboru (Nosek a kol., 2015). Pro zotavení je podstatné, že část lidí byla poškozena právě citacemi výzkumu: skupina nebo kouč opírali nárok o „vědecky prokázané“ efekty, které se nepotvrdily. Společné dohledání původních zdrojů a jejich dnešního stavu je v takovém případě účinnější než zesměšnění dřívější důvěry (interpretace knihy); zařazení do fází obnovy vedou rekonstruktivní protokoly.

Meze a kritika pojmu

Samotná interpretace replikačních projektů je předmětem odborné rozpravy. Gilbert a kol. namítli, že replikace v největším psychologickém projektu se v části případů metodicky odchylovaly od originálů a že při zohlednění výběru studií a chyby měření je odhad podílu nereplikovaných nálezů příliš pesimistický (Gilbert a kol., 2016); autoři projektu tuto námitku odmítli a rozprava o správné metrice úspěšné replikace pokračuje (Open Science Collaboration, 2015).

Druhou mezí je přenositelnost. Podíl úspěšných replikací se mezi obory a mezi typy designu výrazně liší, takže jediné číslo pro „vědu“ neexistuje a jeho citování je samo nepřesností (Camerer a kol., 2016). Třetí mezí je účelové použití: výsledky replikačních projektů se dají předložit jako doklad bezcennosti celého oboru, a takové použití je v rozporu s tím, co z nich plyne (Ioannidis, 2005).

Literatura

• Begley, C. G., & Ellis, L. M. (2012). Raise standards for preclinical cancer research. Nature.
• Button, K. S., et al. (2013). Power failure: Why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience.
• Camerer, C. F., et al. (2016). Evaluating replicability of laboratory experiments in economics. Science.
• Chambers, C. D. (2013). Registered reports: A new publishing initiative at Cortex. Cortex.
• Fanelli, D. (2010). Do pressures to publish increase scientists' bias? An empirical support from US States data. PLoS ONE.
• Gelman, A., & Loken, E. (2014). The statistical crisis in science. American Scientist.
• Gilbert, D. T., King, G., Pettigrew, S., & Wilson, T. D. (2016). Comment on „Estimating the reproducibility of psychological science“. Science.
• Ioannidis, J. P. A. (2005). Why most published research findings are false. PLoS Medicine.
• Kerr, N. L. (1998). HARKing: Hypothesizing after the results are known. Personality and Social Psychology Review.
• Klein, R. A., et al. (2014). Investigating variation in replicability: A „many labs“ replication project. Social Psychology.
• Munafò, M. R., et al. (2017). A manifesto for reproducible science. Nature Human Behaviour.
• Nosek, B. A., et al. (2015). Promoting an open research culture. Science.
• Open Science Collaboration (2015). Estimating the reproducibility of psychological science. Science.
• Rosenthal, R. (1979). The file drawer problem and tolerance for null results. Psychological Bulletin.
• Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science.

Související

Pojmy

• Epistemická pokora – postoj úměrný stavu dokladů.
• Pseudověda – kde slabý doklad přechází v nauku bez samoopravy.
• Falsifikace – vztah neúspěšné replikace k vyvrácení.
• Lakatosův výzkumný program – hodnocení programu podle přírůstku obsahu.
• Epistemická anihilace – rámec hrozeb.

Kniha

• Reprodukční krize a EA výzkum – dopad na samotnou taxonomii.
• Epistemická kalibrace – posuzování síly dokladu.
• Hodnocení důkazů – nácvik pro jednotlivce.
• Kompendium EA – úplná taxonomická reference.

Strukturní vazby

• Bridge: replication-crisis – most: jak se tento pojem projevuje v kapitolách knihy