Replikační krize a výzkum EA

Okruh: metodologická kritika. Jádro námitky: rámec stojí na nejisté literatuře a na konstruktech, které nikdo netestoval.

V roce 2015 publikovala skupina Open Science Collaboration výsledky pokusu zopakovat sto studií z předních psychologických časopisů. Zatímco původní studie téměř vždy hlásily statisticky významný výsledek, replikace jej přinesly zhruba u třetiny a průměrná síla účinků byla zhruba poloviční (Open Science Collaboration, 2015). Spolu s dalšími projekty a s případy vědeckých podvodů, jako byl případ Stapel, to odstartovalo období, které se nazývá replikační krize (replication crisis). Kritika se ptá, co tato zkušenost znamená pro knihu, jejíž tvrzení o epistemické anihilaci (EA) se o psychologickou literaturu opírají.

Jak krize vznikla

Varování přišlo dávno před rokem 2015. Jacob Cohen už počátkem šedesátých let ukázal, že typická studie v sociální a klinické psychologii měla příliš malý vzorek na to, aby středně silný účinek spolehlivě zachytila (Cohen, 1962). Katherine Button a kolegové o půl století později doložili totéž v neurovědách a vysvětlili, proč málo silné studie neprodukují jen méně objevů, ale i víc falešných a nadsazených (Button a kol., 2013). Robert Rosenthal pojmenoval „problém šuplíku“ (file drawer problem): studie bez významného výsledku zůstávají nepublikovány, a publikovaná literatura proto systematicky přeceňuje účinky (Rosenthal, 1979).

K malým vzorkům a publikačnímu výběru se přidala analytická volnost. Joseph Simmons, Leif Nelson a Uri Simonsohn ukázali, že běžná volnost při analýze dat – kdy přestat sbírat, které proměnné vykázat, které pozorování vyřadit – dokáže vyrobit „významný“ výsledek i tam, kde žádný účinek není (Simmons a kol., 2011). John Ioannidis argumentoval, že při malých vzorcích, malých účincích a velké pružnosti designu je velká část publikovaných pozitivních nálezů pravděpodobně chybná (Ioannidis, 2005). Zvlášť zranitelné jsou oblasti s obtížně měřitelnými konstrukty a malou tradicí přímých replikací.

Námitka v nejsilnější podobě

Výzkum manipulace a temných osobnostních rysů do této kategorie zčásti patří. Konstrukt „temné triády“ – narcismu, machiavelismu a psychopatie – se po článku Delroye Paulhuse a Kevina Williamse rychle rozšířil (Paulhus a Williams, 2002). Metaanalýza Petera Murise a kolegů však upozornila, že složky triády se značně překrývají, že velká část výzkumu stojí na krátkých sebeposuzovacích dotaznících a že teoretický status triády jako samostatného konstruktu zůstává sporný (Muris a kol., 2017). Rámec EA, který se o podobné konstrukty opírá, přebírá i jejich nejistotu.

Výzkum sociálního vlivu obsahuje klasické nálezy, které obstály, i takové, které po opakování zeslábly nebo zmizely. Velký mezilaboratorní projekt Many Labs potvrdil řadu klasických efektů, například efekt ukotvení, zatímco jiné se nepotvrdily (Klein a kol., 2014). Rozsáhlá předregistrovaná replikace efektu vyčerpání vůle (ego depletion), který byl dlouho považován za pevný, našla účinek blízký nule (Hagger a kol., 2016). Částečná replikace Milgramových experimentů poslušnosti naopak přinesla výsledky srovnatelné s původními, i když v upraveném a eticky omezeném designu (Burger, 2009).

Silná verze námitky zní: kniha přebírá autoritu empirické psychologie, ale ne její nejistotu. Čtenář nevidí, které tvrzení stojí na opakovaně potvrzeném nálezu, které na klinické zkušenosti a které na úvaze autora. Marcus Munafò a kolegové v manifestu reprodukovatelné vědy připomínají, že právě nerozlišování těchto úrovní a sebejistý jazyk publikací patřily k příčinám krize (Munafò a kol., 2017).

Kde zasahuje tuto knihu

Kniha je převážně teoretická a klinicko-popisná taxonomie. Její technické kapitoly popisují mechanismy, znaky a obranu, ale jen výjimečně odkazují na studie, které by daný mechanismus testovaly. Kazuistiky jsou anonymizované kompozity, tedy ilustrace, ne data. Metodologické poznámky stanoví validační kritéria – shodu hodnotitelů, predikční a intervenční validitu, mezikulturní konzistenci – ale jako požadavky do budoucna. Kapitola otevřených výzkumných otázek empirickou validaci taxonomie výslovně uvádí jako nevyřešený problém. To je poctivé; riziko je v tom, že jednotlivé stránky mluví sebejistěji, než celek dovoluje, a že praxe založená na důkazech v původním smyslu spojuje klinickou zkušenost s nejlepší dostupnou evidencí, nikoli s jedním z nich (Sackett a kol., 1996).

Při revizi obsahu se navíc ukázalo, že starší strojově generované texty obsahovaly čísla bez zdroje – prevalence, velikosti účinků, prahové hodnoty. Taková čísla jsou horší než žádná, protože vypadají jako výsledek výzkumu. Gigerenzer (2002) popsal, jak číselný údaj vytváří iluzi jistoty, která u čtenáře přetrvá i tehdy, když se ukáže, že čísla nemají oporu; odstranění takových údajů proto není kosmetická úprava, ale podmínka důvěryhodnosti knihy.

Ilustrační případ

Obecný kompozit: soudní znalec cituje z knihy popis techniky a dodává, že „podle odborné literatury“ vede k určitým následkům. Protistrana se zeptá, na které studii toto tvrzení stojí, jak velký byl vzorek a zda byl nález zopakován – tedy přesně na to, co replikační krize učinila samozřejmou otázkou (Open Science Collaboration, 2015). Pokud odpověď zní „jde o teoretický popis z kompendia“, znalec ztratí důvěryhodnost – a s ním i postižený, jehož věc zastupuje. Kdyby znalec od začátku jasně řekl, že jde o klinicky užitečný rámec bez přímého empirického ověření, a své závěry opřel o ověřitelné skutečnosti případu, jeho posudek by obstál lépe (srov. Znalec EA).

Případ odpovídá tomu, jak soudy přistupují k odborným důkazům. Nejvyšší soud Spojených států v rozhodnutí Daubert stanovil, že soudce má posoudit, zda je metoda, o niž znalec opírá závěr, testovatelná a testovaná, zda prošla recenzním řízením, jaká je její známá chybovost a zda je v oboru obecně přijímána (Daubert v. Merrell Dow Pharmaceuticals, 1993). V českém prostředí upravuje znaleckou činnost zákon č. 254/2019 Sb., o znalcích, znaleckých kancelářích a znaleckých ústavech, jehož smyslem je mimo jiné, aby byl znalecký posudek přezkoumatelný a aby z něj bylo zřejmé, z čeho znalec vycházel.

Co námitka neprokazuje

Replikační krize neznamená, že psychologie nic neví. Řada nálezů, o které se kniha může opírat, je doložena mnoha nezávislými liniemi výzkumu: systematická zkreslení úsudku obstála i v mezilaboratorních replikacích (Klein a kol., 2014), vliv sociální izolace a slabých sociálních vztahů na zdraví a úmrtnost doložila rozsáhlá metaanalýza (Holt-Lunstad, Smith a Layton, 2010) a souvislost nepříznivých zkušeností v dětství s pozdějším zdravím ukázala velká epidemiologická studie (Felitti a kol., 1998).

Klinická zkušenost je také evidence, jen jiného druhu a s jinými limity. Sackett a kolegové výslovně varovali, že medicína založená na důkazech nesmí zúžit praxi na výsledky randomizovaných studií a že bez klinické zkušenosti hrozí, že i nejlepší evidence bude použita nevhodně (Sackett a kol., 1996). Námitka proto nevyžaduje, aby kniha přestala tvrdit cokoli, co není replikováno; vyžaduje, aby u svých tvrzení přiznala, jakou mají oporu.

Pojistky pro praxi

První pojistkou jsou úrovně opory. Kniha rozlišuje nálezy převzaté z literatury s opakovaným potvrzením, klinickou zkušenost a konsenzus a vlastní teoretické konstrukty; tvrzení třetího druhu se nesmí prezentovat jako tvrzení prvního druhu. Systém GRADE, který se v medicíně používá k hodnocení kvality evidence, ukazuje, že takové stupňování lze dělat průhledně a že síla doporučení má odpovídat kvalitě opory (Guyatt a kol., 2008).

Druhou pojistkou je pravidlo „žádné číslo bez zdroje“. Odhad se označí jako odhad; číslo, které nelze dohledat, se odstraní. Pravidlo míří přímo na iluzi jistoty, kterou Gigerenzer (2002) popisuje jako jeden z nejčastějších způsobů, jimiž čísla klamou, a vychází z rozhodnutí, které kniha přijala už při revizi svých starších textů.

Třetí pojistkou je předregistrace a zveřejnění dat. Vlastní výzkum taxonomie se plánuje s předem zapsanými hypotézami (viz předregistrace) a s plánem replikace (viz replikační výzkum EA studií). Předregistrace odděluje potvrzující analýzu od průzkumné a brání tomu, aby se průzkumný nález vydával za předem předpovězený (Nosek a kol., 2018).

Čtvrtou pojistkou je uvádět sílu účinku a velikost vzorku. U každé citované studie se uvádí velikost vzorku a účinku, ne jen formule „studie prokázala“ (viz Effect Size v EA studiích). Geoff Cumming argumentoval, že odhady účinků s intervaly spolehlivosti informují čtenáře mnohem lépe než samotné rozhodnutí o statistické významnosti (Cumming, 2014), a malý vzorek je podle Buttona a kolegů sám o sobě důvodem ke skepsi vůči velkému účinku (Button a kol., 2013).

Pátou pojistkou je forenzní střídmost. V posudcích se rámec používá jako struktura výkladu, ne jako důkaz. Kritéria z rozhodnutí Daubert (Daubert v. Merrell Dow Pharmaceuticals, 1993) dávají znalci užitečný test: pokud nelze říct, jak byla metoda testována a jakou má chybovost, nemá být prezentována jako vědecky ověřená.

Co zůstává otevřené

Jak vůbec empiricky testovat jev, který se z etických důvodů nesmí experimentálně vyvolat? Kniha bude odkázána na observační, retrospektivní a kvalitativní data se všemi jejich slabinami (viz Kauzální inference v EA výzkumu). Miguel Hernán a James Robins ukazují, že i z observačních dat lze opatrně vyvozovat kauzální závěry, pokud se výslovně formuluje „cílový pokus“, který by se provedl, kdyby to bylo možné, a předpoklady, za nichž data tento pokus napodobují (Hernán a Robins, 2020); pro EA takové formulace zatím chybějí.

Otevřené je i to, zda se konstrukty knihy vůbec dají převést na měřitelné proměnné, aniž by ztratily to, co na nich bylo klinicky cenné. Denny Borsboom, Gideon Mellenbergh a Jaap van Heerden argumentovali, že test je validní, pokud měřený atribut existuje a jeho variace kauzálně způsobuje variaci výsledků měření (Borsboom, Mellenbergh a van Heerden, 2004). Pro EA to znamená položit si nejprve otázku, zda „epistemická anihilace“ je jeden atribut, nebo souhrnné jméno pro různorodé procesy, a teprve pak navrhovat nástroje.

Literatura

• Borsboom, D., Mellenbergh, G. J., & van Heerden, J. (2004). The concept of validity. Psychological Review, 111(4).
• Burger, J. M. (2009). Replicating Milgram: Would people still obey today? American Psychologist, 64(1).
• Button, K. S., Ioannidis, J. P. A., Mokrysz, C., Nosek, B. A., Flint, J., Robinson, E. S. J., & Munafò, M. R. (2013). Power failure: Why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience, 14(5).
• Cohen, J. (1962). The statistical power of abnormal-social psychological research: A review. Journal of Abnormal and Social Psychology, 65(3).
• Cumming, G. (2014). The new statistics: Why and how. Psychological Science, 25(1).
• Daubert v. Merrell Dow Pharmaceuticals, Inc. (1993). 509 U.S. 579. Supreme Court of the United States.
• Felitti, V. J., Anda, R. F., Nordenberg, D., Williamson, D. F., Spitz, A. M., Edwards, V., Koss, M. P., & Marks, J. S. (1998). Relationship of childhood abuse and household dysfunction to many of the leading causes of death in adults. American Journal of Preventive Medicine, 14(4).
• Gigerenzer, G. (2002). Calculated Risks: How to Know When Numbers Deceive You. Simon & Schuster.
• Guyatt, G. H., Oxman, A. D., Vist, G. E., Kunz, R., Falck-Ytter, Y., Alonso-Coello, P., & Schünemann, H. J. (2008). GRADE: An emerging consensus on rating quality of evidence and strength of recommendations. BMJ, 336.
• Hagger, M. S., Chatzisarantis, N. L. D., a kol. (2016). A multilab preregistered replication of the ego-depletion effect. Perspectives on Psychological Science, 11(4).
• Hernán, M. A., & Robins, J. M. (2020). Causal Inference: What If. Chapman & Hall/CRC.
• Holt-Lunstad, J., Smith, T. B., & Layton, J. B. (2010). Social relationships and mortality risk: A meta-analytic review. PLoS Medicine, 7(7).
• Ioannidis, J. P. A. (2005). Why most published research findings are false. PLoS Medicine, 2(8).
• Klein, R. A., Ratliff, K. A., Vianello, M., a kol. (2014). Investigating variation in replicability: A „Many Labs“ replication project. Social Psychology, 45(3).
• Munafò, M. R., Nosek, B. A., Bishop, D. V. M., Button, K. S., Chambers, C. D., Percie du Sert, N., Simonsohn, U., Wagenmakers, E.-J., Ware, J. J., & Ioannidis, J. P. A. (2017). A manifesto for reproducible science. Nature Human Behaviour, 1.
• Muris, P., Merckelbach, H., Otgaar, H., & Meijer, E. (2017). The malevolent side of human nature: A meta-analysis and critical review of the literature on the dark triad (narcissism, Machiavellianism, and psychopathy). Perspectives on Psychological Science, 12(2).
• Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11).
• Open Science Collaboration (2015). Estimating the reproducibility of psychological science. Science, 349(6251).
• Paulhus, D. L., & Williams, K. M. (2002). The Dark Triad of personality: Narcissism, Machiavellianism, and psychopathy. Journal of Research in Personality, 36(6).
• Rosenthal, R. (1979). The file drawer problem and tolerance for null results. Psychological Bulletin, 86(3).
• Sackett, D. L., Rosenberg, W. M. C., Gray, J. A. M., Haynes, R. B., & Richardson, W. S. (1996). Evidence based medicine: What it is and what it isn't. BMJ, 312.
• Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11).

Související

Kritické perspektivy

• Přesah rámce – když EA vysvětluje všechno – testovatelnost jako logický požadavek.
• Publikační etika v literatuře EA – publikační praxe, která krizi živila.
• Riziko falešně pozitivních detekcí – proč chybějící validační data škodí v praxi.

Kapitoly a metodologie

• 7.9 Otevřené výzkumné otázky – empirická validace jako přiznaný problém.
• Replikační výzkum EA studií – jak replikace plánovat.
• Historický případ: Replikační krize – průběh krize podrobněji.

Pojmy

• Replication Crisis – heslo glosáře.
• Evidence-based – co znamená opírat praxi o doklady.