Bridge: Replikační krize (replication crisis)

Most vede od hesla glosáře k místům knihy, kde se pojem používá, a od nich k praxi: rozpoznání, obraně a zotavení. Přehled všech mostů je v rejstříku Glossary Bridges.

Pojem

Replikační krize označuje zjištění, že značná část publikovaných vědeckých výsledků – zejména v psychologii, ale i v medicíně a dalších oborech – se při nezávislém opakování nepodaří potvrdit. Ioannidis (2005) teoreticky ukázal, proč při malých vzorcích, flexibilní analýze a tlaku na publikaci pozitivních výsledků musí být podíl chybných nálezů vysoký; rozsáhlý replikační projekt Open Science Collaboration (2015) pak u sta psychologických studií zjistil, že výrazně méně replikací dosáhlo statisticky významného výsledku než v původních studiích.

Pro knihu má replikační krize dvojí význam. Je to příklad zdravé sebekorekce: věda objevila vlastní chyby a začala měnit postupy. A je to riziko zneužití: krize slouží jako argument, že „vědě se nedá věřit vůbec“, což je jeden z nejčastějších vstupů do epistemické dezorientace. Kniha se k ní navíc musí vztahovat sebekriticky, protože sama čerpá z psychologického výzkumu.

Krize očima knihy

Simmons, Nelson a Simonsohn (2011) ukázali, jak běžné a samy o sobě nevinné rozhodnutí při analýze dat – kdy přestat sbírat data, které proměnné zahrnout, které pozorování vyřadit – mohou dohromady vést k „falešně pozitivní psychologii“. Nikdo nemusí podvádět; stačí, aby výzkumník měl volnost a motivaci najít výsledek. Kniha v tom vidí strukturní obdobu konfirmačního biasu na úrovni celé disciplíny: systém, který odměňuje potvrzení, potvrzení vyprodukuje.

Odpovědí vědy byly reformy: předregistrace studií, sdílení dat, větší vzorky, replikační studie (Nosek a kol. 2018). Z pohledu Lakatosova modelu jde o progresivní reakci: disciplína nezakryla selhání dodatečným výkladem, ale změnila metody tak, aby mohla nová selhání odhalit. To je důležité rozlišení: zdravý systém poznání se nepozná podle toho, že nechybuje, ale podle toho, že chyby nachází a opravuje.

Proč je krize snadno zneužitelná

Zpráva „polovina výzkumu se nereplikuje“ se šíří lépe než její kontext: že se týká určitých oborů a typů studií, že robustní výsledky obstály, a že krizi odhalili sami vědci. Manipulativní prostředí z krize vyvozuje obecnou nedůvěru – a do uvolněného místa nabídne vlastní, nijak neověřené výklady. Kniha tento vzorec rozpoznává jako asymetrickou skepsi: přísnost vůči vědě, nulová přísnost vůči alternativě.

Kde se pojem v knize vyskytuje

Historický rozbor nabízí stránka Replikační krize mezi historickými případy, doplněná případy vědeckých podvodů Stapel a Schön, které je třeba od replikační krize odlišit. Sebekritický rozbor důkazního základu knihy obsahuje Replikace výzkumu EA a metodologická stránka Replikace v EA výzkumu spolu s Předregistrací. Zneužití vědecké nejistoty k útoku na odborníky popisuje EA-2.1.1 Expertní dezinflace.

Od pojmu k praxi

Rozpoznání

Zneužití krize prozrazuje asymetrie: obecná nedůvěra k vědě se nekombinuje s žádnou přísností vůči alternativním tvrzením. Dalším znakem je zobecnění z jednoho oboru na všechny a z jednotlivých chyb na celou metodu. Pro odborníka je užitečné rozlišit, zda kritik zpochybňuje konkrétní výsledek s konkrétními argumenty, nebo vědu jako takovou.

Obrana

Obranou je kalibrovaná důvěra: posuzovat výsledky podle jejich síly – velikosti vzorku, replikací, předregistrace, shody s jinými zdroji. Robustní, opakovaně potvrzené nálezy si zaslouží vysokou důvěru, jednotlivé překvapivé studie opatrnost. Kniha k tomu odkazuje na Kalibraci epistemické jistoty.

Pro čtenáře knihy

Kniha vyzývá své čtenáře, aby tuto kalibraci uplatňovali i na ni samotnou. Mnohá tvrzení o mechanismech manipulace stojí na klinické zkušenosti a menších studiích; kniha je proto označuje jako předběžná a odlišuje je od dobře doložených poznatků. Čtenář, který ví o replikační krizi, by měl číst každou kapitolu s otázkou, na jakém důkazu stojí.

Kniha zde čtenáři zároveň nabízí jednoduché pravidlo: čím překvapivější a čím lépe se hodí do vlastního přesvědčení, tím větší opatrnost si výsledek zaslouží, dokud ho nepotvrdí někdo další.

Zotavení

U lidí, kteří po vystavení dezinformacím ztratili důvěru ve vědu úplně, je zotavení obnovou rozlišování: ne návrat k bezvýhradné důvěře, ale k důvěře přiměřené síle důkazů. Pomáhá vysvětlit, že krize je příběhem o tom, jak věda opravuje sama sebe – a že tuto vlastnost alternativní systémy často nemají.

Pro zasaženého je užitečné i to, když slyší, že nejistota není selháním, ale běžnou součástí poznání.

Rámec pro profesionály

Pro kliniky to znamená opírat intervence o nálezy s robustní podporou a u nových přístupů postupovat opatrně. Pro výzkumníky v oblasti epistemické anihilace platí, že obor je mladý a zranitelný vůči stejným problémům; předregistrace a sdílení dat jsou proto zvlášť důležité.

Odlišení od příbuzných jevů

Replikační krize se liší od vědeckého podvodu: většina nereplikovaných výsledků nevznikla podvodem, ale metodologickou volností a tlakem na publikaci. Od pseudovědy se liší tím, že věda své chyby odhalila sama. A od běžné vědecké nejistoty se liší rozsahem a systematičností problému.

Časté omyly

Častým omylem je, že „nic z psychologie neplatí“. Řada nálezů obstála a krize se týká především určitých typů studií. Druhým omylem je, že krize dokazuje zkaženost vědy; ve skutečnosti dokazuje její schopnost sebekorekce. Třetím omylem je, že reformy vše vyřešily; jde o probíhající proces.

Příklad (anonymizovaný kompozit)

Učitel na semináři kritického myšlení dostane od studenta otázku: „Proč bychom měli věřit vědě, když se polovina nereplikuje?“ Místo obhajoby učitel se studenty projde, kdo krizi odhalil, jak se změnily metody a které nálezy obstály. Pak se zeptá, jaký mechanismus sebekorekce má alternativní zdroj, který student sleduje. Studenti si odnesou rozlišení mezi systémem, který chybuje a opravuje se, a systémem, který chyby nepřiznává.

Příklad ukazuje, že replikační krizi lze využít i obráceně – jako učební příběh o sebekorekci. Učitel nehájil vědu jako neomylnou, ale jako systém s mechanismem hledání chyb, a tím otevřel otázku, kterou si student dosud nepoložil: jak by se o omylu dozvěděl u zdroje, kterému věří. Taková otázka nepřikazuje odpověď a právě proto působí; student si ji odnese a může se k ní vracet i u dalších zdrojů.

Meze a otevřené otázky

Rozsah krize se liší podle oborů a jeho měření je samo předmětem sporů. Otevřené zůstává, jak dobře reformy fungují v dlouhém období a jak komunikovat vědeckou nejistotu veřejnosti, aniž by se podporovala obecná nedůvěra.

Pro samotnou knihu zůstává otevřené, které z jejích klinických tvrzení by obstála v replikaci; kniha proto vítá výzkum, který by je ověřil nebo vyvrátil, a považuje to za součást své obranné funkce.

Literatura

• Ioannidis, J. P. A. (2005). Why most published research findings are false. PLoS Medicine, 2(8), e124.
• Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11), 2600–2606.
• Open Science Collaboration (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716.
• Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology. Psychological Science, 22(11), 1359–1366.

Související

Glosář

• Falsifikace – kritérium, které replikace uplatňuje.
• Evidence-based – praxe opřená o doložené poznatky.
• Pseudoscience – co replikační krize není.
• Konfirmační bias – individuální obdoba systémového problému.

Kniha

• Replikační krize – historický rozbor.
• Replikace výzkumu EA – sebekritika knihy.
• Předregistrace – metodologická odpověď.
• EA-2.1.1 Expertní dezinflace – zneužití nejistoty.

Sesterské mosty

• Bridge: Falsifikace – výchozí kritérium.
• Bridge: Lakatosův výzkumný program – progresivní reakce.

Strukturní vazby

• Replikační krize (replication crisis) – heslo glosáře, které tento most propojuje s knihou