Systematický přehled a metaanalýza

Literatura o jevech, které kniha shrnuje pod epistemickou anihilaci, je roztříštěná mezi psychologii traumatu, výzkum násilí v blízkých vztazích, studium manipulativních skupin, výzkum dezinformací a sociální epistemologii. Jednotlivé studie bývají malé a měří odlišné věci. Systematický přehled a metaanalýza jsou způsob, jak z takové literatury vyvodit, co je doložené, a – stejně důležité – co doložené není.

Vymezení

Systematický přehled odpovídá na předem formulovanou otázku vyhledáním, výběrem a kritickým zhodnocením všech relevantních studií podle explicitního a opakovatelného postupu. Metaanalýza je jeho statistická část: kombinuje velikosti účinku z jednotlivých studií do souhrnného odhadu a zkoumá, proč se studie liší. Přehled může být systematický i bez metaanalýzy, pokud jsou studie příliš nesourodé ke kombinaci.

Kdy metodu použít

• Shrnutí účinnosti intervencí: např. programů prebunkingu, psychoedukace o manipulaci nebo terapeutických přístupů pro lidi po odchodu z kontrolujících skupin.
• Odhad síly souvislostí: mezi zkušeností s psychickým týráním a symptomy komplexního traumatu nebo disociace.
• Mapování mezer: přehled rozsahu (scoping review) ukáže, které z mechanismů popsaných v knize nemají žádnou empirickou oporu.
• Podklad pro klinická doporučení a veřejnou politiku (viz rámec veřejné politiky).

Postup

1. Otázka v rámci PICO/PECO (populace, intervence či expozice, srovnání, výsledek).
2. Protokol a registrace předem, například v registru PROSPERO (viz pre-registrace).
3. Vyhledávání ve více databázích (pro psychologii typicky PsycINFO, PubMed, Web of Science nebo Scopus), s rešeršní strategií připravenou ideálně s knihovníkem; doplňkově šedá literatura a ruční procházení citací. K terminologii viz PubMed/MeSH výzkumná terminologie.
4. Výběr studií dvěma nezávislými posuzovateli, s dokumentovanými důvody vyřazení a vývojovým diagramem podle PRISMA 2020.
5. Extrakce dat do předem připraveného formuláře.
6. Hodnocení rizika zkreslení (např. nástroje Cochrane pro randomizované studie) a jistoty důkazů (přístup GRADE).
7. Syntéza: u nesourodých studií model náhodných efektů, odhad heterogenity, analýza moderátorů; jinak strukturovaná narativní syntéza.
8. Publikační zkreslení: trychtýřový graf, testy asymetrie (Egger a kol. 1997), citlivostní analýzy. Žádný z testů zkreslení neprokáže ani nevyloučí – jen na ně upozorní.

Specifika výzkumu epistemické manipulace

Pojmový chaos. Tentýž jev se v různých oborech jmenuje jinak („psychological abuse“, „coercive control“, „undue influence“, „thought reform“), a naopak tentýž termín znamená v různých studiích různé věci. Rešeršní strategie musí pokrýt synonyma napříč obory a přehled musí jasně říct, které operacionalizace sloučil. Slučování nesrovnatelného („jablka a hrušky“) je hlavní riziko oboru.

Malé a vybrané vzorky. Mnoho studií pracuje s lidmi získanými přes podpůrné organizace nebo terapeuty. Souhrnný odhad pak platí pro tuto populaci, ne pro všechny, kdo podobnou zkušenost mají. Typ náboru je vhodný moderátor.

Převaha retrospektivních dat – viz dotazníkový výzkum. Hodnocení jistoty důkazů by mělo tuto slabinu promítnout.

Rozhodnutí o zahrnutí kvalitativních studií. Pro porozumění prožitku je vhodná samostatná kvalitativní syntéza (metaetnografie, tematická syntéza), ne pokus „započítat“ rozhovory do metaanalýzy.

Publikační tlak oboru. Téma je morálně silné a výsledek „manipulace škodí“ se publikuje snáz než výsledek „souvislost je slabší, než jsme čekali“. To zvyšuje riziko, že publikovaná literatura nadhodnocuje účinky (k širšímu kontextu viz replikační krize).

Kritéria kvality

Oblast	Co doložit
Protokol	registrace před vyhledáváním, odchylky vysvětlené
Vyhledávání	úplná strategie pro každou databázi, datum
Výběr	dva posuzovatelé, shoda, diagram PRISMA
Riziko zkreslení	hodnocení každé studie, vliv na výsledky
Syntéza	volba modelu, heterogenita, moderátory, citlivostní analýzy
Jistota	GRADE nebo obdobné hodnocení
Otevřenost	extrahovaná data a analytický kód k dispozici

Etika a ochrana účastníků

Metaanalýza pracuje s publikovanými daty, ale etické otázky nemizí: přehled by měl zaznamenat, zda zahrnuté studie měly etické schválení, a zvážit vyřazení studií s vážnými etickými vadami. Při práci s individuálními daty (metaanalýza na úrovni jednotlivců) platí pravidla pro datovou bezpečnost. Shrnutí určené veřejnosti nemá zjednodušovat do té míry, že by z nejistého nálezu vznikla „vědecky prokázaná“ diagnóza vztahu nebo skupiny.

Časté chyby

• zahrnutí jen studií v angličtině bez zdůvodnění;
• fixní model u zjevně nesourodých studií;
• souhrnný odhad bez intervalu předpovědi, který ukazuje, jak se mohou lišit budoucí studie;
• dvojí započítání téhož vzorku z více publikací;
• interpretace souvislostí na úrovni studií jako vztahů na úrovni jednotlivců.

Ilustrativní příklad

Hypotetický návrh. Tým chce shrnout studie o souvislosti mezi psychickým týráním v párovém vztahu a pozdějšími obtížemi s důvěrou ve vlastní úsudek. Po registraci protokolu prohledá čtyři databáze a šedou literaturu. Z několika set záznamů zůstane menší počet studií s velmi různými nástroji. Tým kombinuje jen studie s porovnatelnými měřeními a zbytek popisuje narativně; jako moderátory testuje typ náboru a retrospektivní versus prospektivní design. Závěr zní opatrně a jistota důkazů je hodnocena jako nízká – což je samo o sobě užitečné sdělení pro praxi i pro další výzkum.

Jak číst studii tohoto typu

Metaanalýza bývá vnímána jako „konečné slovo“. Ve skutečnosti je to argument postavený na mnoha rozhodnutích autorů a čtenář by měl umět je zkontrolovat:

• Jaká byla otázka a kritéria zahrnutí. Široká otázka („psychické týrání a duševní zdraví“) přinese mnoho studií a nízkou srovnatelnost; úzká otázka málo studií a vysokou srovnatelnost. Obojí je legitimní, ale závěr platí jen pro to, co bylo zahrnuto.
• Kolik studií nese výsledek. Pokud souhrnný odhad stojí převážně na jedné velké studii, je to fakticky výsledek té studie.
• Jak velká je heterogenita. Vysoká heterogenita znamená, že průměrný účinek je abstrakce – v některých prostředích může být účinek velký, v jiných nulový. Interval předpovědi to ukáže lépe než samotný souhrnný odhad.
• Co ukázala analýza moderátorů. Pokud se účinek liší podle typu náboru nebo designu, je to často důležitější zjištění než průměr.
• Jak byla hodnocena kvalita studií a zda se výsledek mění, když se vyřadí studie s vysokým rizikem zkreslení.
• Zda autoři hledali nepublikované výsledky a jak testovali publikační zkreslení.
• Kdo metaanalýzu financoval a zda jsou autoři zároveň autory zahrnutých studií.

Pro kliniku a právo je užitečné rozlišovat dvě sdělení: „souvislost existuje“ (na to často stačí i literatura průměrné kvality) a „souvislost je tak silná a obecná, že z ní lze usuzovat na konkrétního člověka“ (to metaanalýza téměř nikdy neumožňuje). Přenos souhrnného odhadu na jednotlivý případ je chybou úsudku, nikoli statistiky.

Meze a otevřené otázky

Metaanalýza je jen tak dobrá jako studie, které shrnuje. U mnoha mechanismů popsaných v knize neexistuje dost primárních studií ke kombinaci. Otevřenou otázkou je, jak systematicky shrnovat poznání, které existuje hlavně jako klinická zkušenost a kazuistiky (viz Reprodukční krize a EA výzkum).

Literatura

• Borenstein, M., Hedges, L. V., Higgins, J. P. T., Rothstein, H. R. (2009). Introduction to Meta-Analysis.
• Higgins, J. P. T. a kol. (eds.) Cochrane Handbook for Systematic Reviews of Interventions.
• Page, M. J. a kol. (2021). The PRISMA 2020 statement.
• Egger, M., Davey Smith, G., Schneider, M., Minder, C. (1997). Bias in meta-analysis detected by a simple, graphical test.

Související

Metody v této sekci

• Velikost účinku – stavební jednotka metaanalýzy.
• Replikační výzkum – co dělat, když se nálezy nepotvrdí.
• Publikační etika – zdroj publikačního zkreslení.

Kritika a historie

• Reprodukční krize a EA výzkum – empirický základ rámce.
• Historický případ: Replikační krize – jak obor na krizi reagoval.

Populace

• Odhady prevalence – kde se souhrnné odhady používají.

Pojmy

• Replikační krize – kontext nadhodnocených účinků.
• Evidence based – co znamená opírat praxi o důkazy.