Pre-registrace a registrované zprávy

Výzkumník, který zkoumá manipulaci, má sám sklon k nejběžnější formě sebeklamu ve vědě: vidět v datech to, co čekal. Pre-registrace je jednoduchý nástroj proti tomu – před sběrem dat se veřejně a s časovým razítkem zapíše, co se bude zkoumat, jak a jak se budou data analyzovat. Pro obor, jehož tématem je narušení schopnosti poznávat, je to vhodná forma vlastní epistemické hygieny.

Vymezení

Pre-registrace je zveřejnění plánu studie v nezávislém registru před sběrem dat nebo před přístupem k nim. Typicky obsahuje výzkumné otázky a hypotézy, design, velikost vzorku a její zdůvodnění, měření, kritéria vyřazení a analytický plán. Nosek a kolegové (2018) popisují její hlavní funkci jako rozlišení mezi konfirmačním výzkumem (testování předem stanovených předpovědí) a exploračním výzkumem (hledání vzorců v datech) – obojí je legitimní, ale jen první umožňuje interpretovat p-hodnoty tak, jak se obvykle interpretují. Pro klinické studie je registrace v registrech (např. ClinicalTrials.gov) požadována od doby, kdy ji ICMJE stanovil jako podmínku publikace (De Angelis a kol. 2004); pro systematické přehledy slouží registr PROSPERO.

Registrované zprávy (Registered Reports) jdou dál: protokol projde recenzí před sběrem dat a časopis se zaváže studii publikovat bez ohledu na výsledek, pokud bude provedena podle schváleného protokolu (Chambers 2013). Tím se odstraňuje motivace upravovat analýzu podle výsledků i publikační zkreslení.

Kdy je téma klíčové

Pre-registrace je zvlášť důležitá u studií, jejichž výsledky mají přejít do praxe – účinnost intervencí, souvislosti využívané v posudcích, prevalenční odhady –, u studií s mnoha možnými analýzami a měřeními, a u výzkumníků se silným intelektuálním nebo finančním zájmem na výsledku (viz střet zájmů). Má smysl i u sekundární analýzy existujících dat, pokud plán vzniká před jejich prohlédnutím.

Postup

1. Plán – otázky, hypotézy, design, měření, vzorek, analýza, kritéria vyřazení, zacházení s chybějícími daty.
2. Registrace v nezávislém registru (OSF, AsPredicted, ClinicalTrials.gov, PROSPERO podle typu studie); případně s embargem do publikace.
3. Provedení podle plánu; každá odchylka se zapíše s datem a důvodem.
4. Zpráva s odkazem na registraci, s výslovným odlišením konfirmačních a exploračních analýz a s tabulkou odchylek.

Specifika výzkumu epistemické manipulace

Simmons, Nelson a Simonsohn (2011) ukázali, že kombinace běžných analytických rozhodnutí – kdy přestat sbírat data, které proměnné hlásit, zda vyřadit odlehlá pozorování – může dramaticky zvýšit pravděpodobnost falešně pozitivního výsledku. Gelman a Loken (2013) tento problém označili jako „zahradu rozvětvených cest“: i výzkumník, který vědomě nic nehledá, volí analýzu podle dat, která už viděl. Ve výzkumu manipulace, kde se pracuje s novými konstrukty, mnoha škálami a malými vzorky, je zahrada cest zvlášť velká.

Pre-registrace chrání i proti intelektuálnímu zájmu na vlastním rámci. Kniha popisuje riziko kruhového uvažování: pokud se kategorie EA použijí k interpretaci dat, která pak „potvrzují“ kategorie, vzniká uzavřený kruh. Pre-registrovaná hypotéza, která může selhat, je z tohoto kruhu cestou ven – odpovídá Popperovu požadavku falsifikovatelnosti (Popper 1959).

Kvalitativní výzkum pre-registraci zčásti odmítá, protože jeho postup se vyvíjí s daty. Přesto existují formy, které jsou s ním slučitelné: registrace výzkumné otázky, výchozího předporozumění, plánu vzorku a postupu analýzy, s tím, že změny se dokumentují jako součást reflexivity. Haven a Van Grootel (2019) argumentují, že taková registrace zvyšuje transparentnost, aniž by popírala interpretační povahu kvalitativní práce.

Že na tom záleží, ukazují srovnání publikované literatury. Scheel, Schijen a Lakens (2021) porovnali standardní psychologické články s registrovanými zprávami a zjistili, že zatímco standardní literatura hlásí podporu první testované hypotézy v naprosté většině případů, u registrovaných zpráv je podíl pozitivních výsledků výrazně nižší. Rozdíl nelze vysvětlit tím, že by autoři registrovaných zpráv volili horší hypotézy; mnohem pravděpodobněji odráží selektivní publikování a analytickou volnost ve standardní literatuře. Pro obor, jehož výsledky přecházejí do klinických a soudních rozhodnutí, je to silný argument pro registrované zprávy právě u studií, na nichž bude stavět praxe.

Specifickým problémem oboru jsou studie v terénu, kde se plán musí měnit z bezpečnostních důvodů – například když se ukáže, že určitá forma kontaktu ohrožuje účastníky. Taková změna je správná a pre-registrace ji nesmí brzdit; stačí, když je zaznamenána a vysvětlena.

Kritéria kvality

Oblast	Co doložit
Načasování	registrace před sběrem dat nebo před přístupem k nim
Konkrétnost	hypotézy a analýza formulované tak, aby šly ověřit
Velikost vzorku	výpočet nebo zdůvodnění
Odchylky	tabulka změn s daty a důvody
Odlišení	konfirmační a explorační analýzy oddělené ve zprávě
Dostupnost	odkaz na registraci v publikaci

Vztah k ostatním etickým pojistkám

Pre-registrace je most mezi etickým posouzením (které schvaluje, co se bude dělat s lidmi) a publikační etikou (která hodnotí, co bylo zveřejněno). Umožňuje čtenářům i recenzentům ověřit, že zpráva odpovídá plánu. Je také předpokladem pro důvěryhodné replikace.

Časté chyby

Nejčastější chyby jsou tak obecná registrace, že ji splní jakákoli analýza, registrace až po sběru dat, nezmíněné odchylky, explorační nálezy prezentované jako potvrzené hypotézy a mylná představa, že pre-registrace zakazuje exploraci. Explorace je cenná, jen musí být označena.

Ilustrativní příklad

Hypotetická situace. Tým plánuje studii, zda krátká psychoedukace o vzorcích, jako je gaslighting nebo DARVO, zlepšuje schopnost dospělých rozpoznat je v popisech situací. Do registru zapíše primární výsledek (správné rozlišení manipulativních a nemanipulativních popisů), sekundární výsledek (míra falešných poplachů), velikost vzorku a analýzu. Během studie se ukáže, že jedna sada popisů je nesrozumitelná; tým ji vyřadí, zapíše odchylku s datem a ve zprávě uvede výsledky s ní i bez ní. Nečekaný nález, že účinek je větší u starších účastníků, je ve zprávě jasně označen jako explorační.

Využití v praxi

Logiku pre-registrace mohou použít i organizace a kliniky, které hodnotí vlastní programy: předem si zapsat, co bude znamenat úspěch, a teprve pak se podívat na data. V organizacích podobně funguje sledovatelnost rozhodnutí – zapsat důvody rozhodnutí v okamžiku, kdy padá, ne zpětně.

Jak posoudit studii z tohoto hlediska

Čtenář může ověřit, zda studie odkazuje na registraci a zda byla registrace vytvořena před sběrem dat, zda se hlavní výsledky shodují s registrovanými, zda jsou uvedeny odchylky a zda je zřejmé, které analýzy byly explorační.

Meze a otevřené otázky

Pre-registrace nezaručuje kvalitu – lze pre-registrovat i špatný design. Otevřenou otázkou je, jak ji přizpůsobit dlouhodobým terénním a kvalitativním studiím a jak zabránit tomu, aby se stala jen formálním rituálem.

Literatura

• Chambers, C. D. (2013). Registered Reports: A new publishing initiative at Cortex.
• De Angelis, C. a kol. (2004). Clinical trial registration: A statement from the International Committee of Medical Journal Editors.
• Gelman, A., Loken, E. (2013). The garden of forking paths.
• Haven, T. L., Van Grootel, L. (2019). Preregistering qualitative research.
• Nosek, B. A., Ebersole, C. R., DeHaven, A. C., Mellor, D. T. (2018). The preregistration revolution.
• Popper, K. R. (1959). The Logic of Scientific Discovery.
• Scheel, A. M., Schijen, M. R. M. J., Lakens, D. (2021). An excess of positive results: Comparing the standard psychology literature with Registered Reports.
• Simmons, J. P., Nelson, L. D., Simonsohn, U. (2011). False-positive psychology.

Související

Etika a metody v této sekci

• Replikační výzkum – registrované replikace.
• Publikační etika – srovnání plánu a zprávy.
• Analýza síly testu – součást registrace.
• Střet zájmů – registrace jako strukturální ochrana.

Kritika a organizace

• Kruhové uvažování v EA detekci – proč testovat, ne ilustrovat.
• Sledovatelnost rozhodnutí – organizační obdoba.

Pojmy

• Falsifikovatelnost – hypotéza, která může selhat.
• Konfirmační bias – co pre-registrace omezuje.