Replikace a ověřování nálezů

Jediná studie je hypotéza, kterou svět ještě neověřil. Teprve opakování ukáže, zda nález platí, za jakých podmínek a jak je silný. Pro výzkum epistemické anihilace je to zvlášť důležité: obor je mladý, opírá se o literaturu z oblastí zasažených replikační krizí a jeho výsledky rychle přecházejí do klinické a soudní praxe. Replikace je proto nejen metodou, ale i etickou povinností vůči lidem, kterým mají výsledky sloužit.

Vymezení

Přímá replikace opakuje studii co nejvěrněji – stejný postup, stejná měření, nový vzorek – a ověřuje, zda se původní výsledek objeví znovu. Konceptuální replikace testuje tutéž hypotézu jinými prostředky – jinými měřeními, jinou populací, jiným designem – a ověřuje, zda nález není vázán na jedno konkrétní provedení (Schmidt 2009). Reprodukce (výpočetní reprodukovatelnost) znamená, že z původních dat a kódu vyjdou stejné výsledky; je nejjednodušší formou ověření a selhává překvapivě často.

Rozsáhlý pokus Open Science Collaboration (2015) zopakovat sto studií z předních psychologických časopisů přinesl statisticky významný výsledek zhruba u třetiny replikací a průměrné účinky zhruba poloviční. Projekty typu Many Labs (Klein a kol. 2014) ukázaly, že některé jevy se opakují spolehlivě napříč zeměmi a pracovišti, jiné vůbec. Tyto výsledky nejsou důvodem k cynismu, ale k opatrnosti při čtení jednotlivých studií. Kniha je rozvádí ve stránce Reprodukční krize a EA výzkum a v historickém případu Replikační krize.

Kdy je téma klíčové

Replikace má přednost u nálezů, které se už používají v praxi nebo mají takové použití mít – například tvrzení o účinnosti programů prevence, o souvislosti mezi určitou zkušeností a následky, o tom, jak rozpoznat manipulaci podle jazykových znaků. Má přednost také u nálezů z malých studií s velkým účinkem, protože ty bývají při opakování nejvíc nadhodnocené (Button a kol. 2013), a u nálezů, které se staly součástí populární představy o tématu.

Postup

1. Výběr nálezu – podle významu pro praxi a nejistoty.
2. Kontakt s původními autory – materiály, postupy, nepublikované detaily; jejich připomínky k protokolu.
3. Protokol replikace s dostatečnou silou testu – replikace potřebuje obvykle větší vzorek než původní studie (viz analýza síly testu).
4. Registrace předem, ideálně ve formátu Registered Report (viz pre-registrace).
5. Provedení a analýza podle protokolu; odchylky popsané.
6. Výklad – srovnání velikosti účinku s původní studií, nejen „významné / nevýznamné“.
7. Publikace bez ohledu na výsledek.

Specifika výzkumu epistemické manipulace

Mnoho důležitých zdrojů tohoto oboru nejsou experimenty, ale kvalitativní studie, kazuistiky a historické analýzy. U nich nemá smysl mluvit o přímé replikaci; ověřování má podobu přenositelnosti – zda se podobné vzorce objevují v jiných skupinách, kulturách a obdobích. Liftonovy znaky totalismu (Lifton 1961), odvozené z rozhovorů s lidmi, kteří prošli čínským „převýchovným“ programem, se staly východiskem pro analýzu mnoha dalších skupin. To je silná konceptuální opora, ale ne důkaz, že všechny znaky platí všude – což je otázka pro další srovnávací výzkum.

U kvantitativních nálezů je hlavní obtíží nejednotné měření. Pokud každá studie používá jinou škálu, nelze rozlišit, zda neúspěšná replikace znamená, že jev neexistuje, nebo že nástroj měří něco jiného. Proto je pro obor důležité sdílet nástroje a validovat je (viz Dotazníkový výzkum).

Výklad neúspěšné replikace vyžaduje zdrženlivost. Nepotvrzený nález neznamená, že původní autoři podváděli, ani že jev neexistuje; může jít o menší účinek, než se myslelo, o jev vázaný na specifické podmínky, nebo o rozdíl ve vzorku. Zároveň platí, že rozdíl ve vzorku nelze používat jako univerzální výmluvu – pokud původní studie tvrdila obecný nález, musí obstát i v jiném vzorku. Kniha připomíná také případy, kdy nepotvrzené nálezy nebyly omylem, ale podvodem (viz Stapel).

Zvláštní riziko oboru je morální odpor k nepotvrzení. Výsledek „program prevence nemá prokazatelný účinek“ nebo „souvislost je slabší, než se předpokládalo“ může vypadat jako útok na oběti nebo na pomáhající organizace. Proto je důležité, aby replikace prováděly i týmy, které k tématu nemají advokační vztah, a aby výsledky byly formulovány věcně.

Konečně, některé historicky vlivné představy v příbuzných oblastech se ukázaly jako mylné s vážnými důsledky – například hnutí kolem znovuobjevených vzpomínek a Satanic Panic. Loftusová (1993) upozornila na to, jak sugestivní terapeutické postupy mohou vytvářet nepravdivé vzpomínky. Pro obor zabývající se manipulací je to připomínka, že i dobře míněná praxe bez empirického ověření může sama poškozovat lidské poznání.

Kritéria kvality

Oblast	Co doložit
Věrnost	srovnání postupu s původní studií, odchylky
Síla	výpočet vzorku pro rozumný odhad účinku
Registrace	protokol před sběrem dat
Výklad	srovnání velikostí účinku s intervaly
Otevřenost	data, materiály a kód
Komunikace	věcný popis výsledku bez obviňování

Vztah k ostatním etickým pojistkám

Replikace je možná jen tehdy, když původní studie hlásila úplně a sdílela materiály. Výsledky replikací vstupují do metaanalýz a mění odhad velikosti účinku. Etické posouzení replikace je obvykle jednodušší, protože rizika postupu jsou známá – ale ne nulové; replikace s citlivou populací vyžaduje stejnou ochranu jako původní studie.

Časté chyby

Typické chyby jsou replikace s menším vzorkem než původní studie, výklad „nevýznamné, tedy nereplikováno“ bez srovnání účinků, změny postupu, které replikaci zneplatní, a naopak lpění na detailech, které s jevem nesouvisejí. V praxi je chybou i citovat původní studii bez zmínky o neúspěšných replikacích.

Ilustrativní příklad

Hypotetická situace. Malá studie ukázala, že krátký program o rozpoznávání manipulativních argumentů výrazně zlepšuje schopnost lidí odlišit manipulativní a věcné texty. Tři pracoviště se dohodnou na přímé replikaci ve formátu Registered Report s původními autory jako konzultanty. Replikace najde účinek ve stejném směru, ale zhruba třetinový, a ukáže, že program současně mírně zvyšuje nedůvěru k věcným textům. Výsledek se publikuje spolu s komentářem původních autorů, kteří program upraví tak, aby učil rozlišovat, ne jen podezírat.

Využití v praxi

Pro kliniky, vzdělavatele a tvůrce politik plyne jednoduchá zásada: zavádět rozsáhlé programy jen na základě opakovaně potvrzených nálezů, a tam, kde potvrzení chybí, program zavádět jako pilot s měřením. Znalci by měli u citované literatury uvádět, zda byla replikována (viz Znalec EA).

Jak posoudit studii z tohoto hlediska

Čtenář se může ptát, zda byl nález nezávisle zopakován, kolik replikací existuje a jak dopadly, zda autoři sdíleli data a materiály, které replikaci umožňují, a zda je velikost účinku v replikacích podobná původní. U nálezů, které nikdo nezopakoval, je správné mluvit o předběžném výsledku.

Meze a otevřené otázky

Otevřenou otázkou je, jak ověřovat nálezy kvalitativního a klinického výzkumu, které tvoří jádro oboru, a jak zajistit financování replikací, které nepřinášejí „nové“ poznatky. K financování viz Financování výzkumu EA.

Literatura

• Button, K. S. a kol. (2013). Power failure: why small sample size undermines the reliability of neuroscience.
• Klein, R. A. a kol. (2014). Investigating variation in replicability: A „Many Labs“ replication project.
• Lifton, R. J. (1961). Thought Reform and the Psychology of Totalism.
• Loftus, E. F. (1993). The reality of repressed memories.
• Open Science Collaboration (2015). Estimating the reproducibility of psychological science.
• Schmidt, S. (2009). Shall we really do it again? The powerful concept of replication is neglected in the social sciences.

Související

Metody a etika v této sekci

• Pre-registrace – Registered Reports pro replikace.
• Metaanalýza – souhrn původních studií a replikací.
• Velikost účinku – srovnání účinků.
• Publikační etika – předpoklady replikovatelnosti.

Kritika a historie

• Reprodukční krize a EA výzkum – empirický základ knihy.
• Historický případ: Hnutí znovuobjevených vzpomínek – neověřená praxe a její škody.
• Historický případ: Replikační krize – průběh krize.

Pojmy

• Replikační krize – heslo glosáře.
• Falsifikovatelnost – testovatelnost jako podmínka vědy.