Vzdělávací scénář: Verifikace tvrzení

Úroveň: Foundation Učební cíl: Dohledat primární zdroj tvrzení a posoudit jeho věrohodnost Doporučená délka: 90–120 minut (práce ve dvojicích) Pro koho: studenti, kliničtí pracovníci, novináři, lidé rozhodující podle „výzkumu“

Věta „studie ukázala, že…“ je jedním z nejúčinnějších nosičů tvrzení, protože si vypůjčuje autoritu vědy, aniž by čtenáři dala do ruky cokoli k ověření, což Goldacre (2008) dokládá na řadě případů, kdy se z korektního výsledku stala zavádějící zpráva. Mezi původním výsledkem a virální větou obvykle leží několik převyprávění, z nichž každé něco zjednoduší, a Sumner a kol. (2014) ukázali, že značná část zkreslení vzniká již v tiskových zprávách samotných univerzit, nikoli až v novinách. Scénář trénuje cestu zpět: od tvrzení k dokladu a od dokladu k otázce, co skutečně dokládá – tedy dovednost, bez níž se čtenář stává pouhým přenašečem autority.

Učební cíle

Po cvičení dvojice dohledá původní publikaci, z níž virální tvrzení vychází, nebo doloží, že žádná neexistuje; tato schopnost oddělit tvrzení od jeho zdroje je podle Goldacreho (2008) základem obrany proti pseudovědeckému zpravodajství. Dvojice porovná znění tvrzení se skutečným výsledkem a pojmenuje posuny v rozsahu, kauzalitě a populaci, které Sumner a kol. (2014) identifikovali jako tři nejčastější typy překroucení. Posoudí základní parametry studie – design, velikost a výběr vzorku, velikost efektu, recenzní řízení, financování a střet zájmů – a bude přitom vědět, že jediný výsledek může být statisticky nadhodnocený (Ioannidis, 2005). Nakonec formuluje přesnou verzi tvrzení, kterou studie skutečně podporuje, čímž proměňuje kritiku ve schopnost přesného sdělení.

Scénář

Dvojice dostanou snímek obrazovky příspěvku, který koluje na sociálních sítích a tvrdí, že „vědci prokázali, že dvacet minut denně na sociálních sítích zdvojnásobuje riziko depresí u dospívajících“; příspěvek odkazuje na článek populárního webu, ten na tiskovou zprávu univerzity a ta na studii, přičemž facilitátor připraví fiktivní, ale realistický řetězec dokumentů včetně abstraktu a tabulky výsledků. Při dohledávání dvojice zjistí, že studie je průřezová, nikoli experimentální, a měří tedy souvislost, nikoli příčinu, což je rozdíl, jehož stírání patří k nejčastějším zkreslením (Sumner a kol., 2014). Vzorek navíc tvoří dobrovolníci z jedné školy a sebe-výpověď v dotazníku, výsledek se týká skupiny s více než třemi hodinami denně, nikoli dvaceti minut, a „zdvojnásobení“ je relativní riziko z malého výchozího čísla, takže absolutní rozdíl je malý; prezentace relativního rizika bez absolutního je známý zdroj matoucích interpretací zdravotních dat (Gigerenzer a kol., 2007). Tisková zpráva výsledek zobecnila, populární web přidal kauzalitu a příspěvek doplnil efektní číslo – každý článek řetězce tvrdil o trochu víc (Goldacre, 2008). Ve druhé, náročnější variantě tvrzení odkazuje na „studii“, kterou nelze najít, a dvojice musí rozhodnout, kdy hledání ukončit a jak výsledek formulovat; sem patří i případy, kdy citaci vytvořil jazykový model, viz EA-9.1.1 LLM Hallucination Laundering.

Signály, kterých si všimnout

Prvním signálem je chybějící odkaz, tedy „vědci zjistili“ bez jména, časopisu nebo roku, což znemožňuje jakékoli ověření a je podle Goldacreho (2008) nejčastějším rysem nepodložených zdravotních tvrzení. Druhým je posun kauzality, kdy se „souvisí s“ mění na „způsobuje“, a třetím posun populace, kdy se výsledek z úzké skupiny vztahuje na všechny; oba posuny patří k doloženým typům zkreslení v řetězci od studie k titulku (Sumner a kol., 2014). Čtvrtým je relativní číslo bez absolutního, tedy „dvojnásobek“ bez výchozí hodnoty, které podle Gigerenzera a kol. (2007) systematicky nadhodnocuje vnímané riziko. Pátým je nepřiměřená jistota, kdy se u jediné studie tvrdí „prokázali“; srovnej nepřiměřená sebejistota a obecnou nespolehlivost jednotlivého výsledku (Ioannidis, 2005). Šestým je rozšiřování rozsahu, kdy každé převyprávění tvrdí trochu víc; srovnej posun rozsahu. Sedmým je pseudo-empirický nátěr, grafy a čísla bez metodologie, viz EA-1.3.2 Pseudo-empirická validace.

Diskusní otázky

Diskuse se zaměří na to, na kterém článku řetězce došlo k největšímu posunu a proč právě tam – podle Sumnera a kol. (2014) to bývá tisková zpráva – a jak by dvojice tvrzení přeformulovala, aby odpovídalo studii. Dále se zvažuje, co znamená, že studie prošla recenzním řízením, a co to neznamená, jak zjistit financování a střet zájmů a jakou váhu jim dát a kdy je rozumné hledání ukončit a tvrzení označit za nedoložené; přílišná důvěra v jedinou recenzovanou studii je riskantní, protože recenze neověřuje pravdivost závěru (Ioannidis, 2005). Poslední otázka se ptá, co dělat, když tvrzení pošle blízký člověk, kterému na něm záleží, a přesouvá tak pozornost od techniky ověření k jeho vztahovému kontextu.

Modelové odpovědi

K největšímu posunu dochází často u tiskové zprávy nebo prvního populárního zpracování, kde se výsledek překládá do jazyka „zprávy“ a ztrácí podmínky platnosti, jak doložili Sumner a kol. (2014). Přesná verze tvrzení by zněla například tak, že průřezová studie na jedné škole zjistila, že dospívající, kteří uvádějí více než tři hodiny denně na sociálních sítích, častěji uvádějí depresivní příznaky, aniž by studie prokazovala příčinnou souvislost; přesná verze je delší a méně virální, a to je normální cena za správnost (Goldacre, 2008). Recenze ověřuje rozumnost metodologie a argumentace, nikoli pravdivost závěru, a jednotlivé studie se nemusejí replikovat, viz replikační krize a obecný argument o nadhodnocených nálezech (Ioannidis, 2005). Financování a deklaraci zájmů lze najít v příslušném oddílu publikace a v registru klinických studií, jde-li o intervenci, přičemž střet zájmů je důvodem k pozornosti, nikoli automatickým vyvrácením; srovnej conflict of interest ve výzkumu. Hledání je rozumné ukončit, když žádný krok řetězce neuvádí dohledatelný zdroj a odborné databáze nic nenacházejí, a výsledek formulovat jako „nepodařilo se dohledat zdroj“, nikoli „je to lež“ (Caulfield, 2017). Vůči blízkému člověku je účinnější ptát se než vyvracet („Našel jsem původní studii, podívej, co přesně měřila“), protože sdílené ověřování chrání vztah lépe než oprava shora.

Časté chyby

Nejčastější chybou je zastavení u tiskové zprávy, jejíž univerzitní hlavička vyvolává dojem primárního zdroje, ačkoli právě na této úrovni často vzniká zkreslení (Sumner a kol., 2014). Druhou je čtení jen abstraktu, který shrnuje závěry autorů, nikoli nutně jejich omezení, a třetí je opačný extrém, tedy odmítnutí studie slovy „korelace není kauzalita“, ačkoli korelační data mohou být cenná, pokud se správně interpretují (Goldacre, 2008). Čtvrtou je zaměňování statistické a praktické významnosti, neboť statisticky významný efekt může být zanedbatelně malý; viz effect size a výklad velikosti efektu v kontextu matoucích čísel (Gigerenzer a kol., 2007).

Debriefing pro facilitátora

Facilitátor ukáže celý řetězec dokumentů vedle sebe a nechá skupinu barevně označit, kde co přibylo nebo zmizelo, protože vizuální obraz posunu bývá silnější než slovní rozbor a názorně předvádí mechanismus zkreslení (Sumner a kol., 2014). Poté se diskuse vrátí k osobní rovině, kolik podobných tvrzení účastníci za poslední měsíc převzali bez ověření, čímž se dovednost přenese do každodenní praxe (Caulfield, 2017). Téma duševního zdraví dospívajících může být pro rodiče ve skupině citlivé, a pokud se debata stočí k vlastním dětem, facilitátor obavu uzná a vrátí se k metodě, protože cvičení neposuzuje výchovu.

Rozšiřující úkoly

Jako přenos lze zadat zmapování skutečného virálního tvrzení o výzkumu od studie k příspěvku, aby účastník na vlastním případu viděl, kde se platnost ztrácí (Goldacre, 2008). Dalším úkolem je vytvořit šablonu přesného tvrzení, která vždy uvede design, populaci, velikost efektu a omezení, a tím institucionalizovat správné citování výzkumu (Gigerenzer a kol., 2007). Posledním je nechat si od jazykového modelu vygenerovat tři reference k tématu a ověřit, zda existují, podle návodu detekce AI obsahu, protože smyšlené citace jsou dnes samostatným zdrojem nepravdivých tvrzení.

Literatura

• Caulfield, M. (2017). Web Literacy for Student Fact-Checkers. Open textbook.
• Gigerenzer, G., Gaissmaier, W., Kurz-Milcke, E., Schwartz, L. M., & Woloshin, S. (2007). Helping Doctors and Patients Make Sense of Health Statistics. Psychological Science in the Public Interest, 8(2), 53–96.
• Goldacre, B. (2008). Bad Science. London: Fourth Estate.
• Ioannidis, J. P. A. (2005). Why Most Published Research Findings Are False. PLoS Medicine, 2(8), e124.
• Sumner, P., Vivian-Griffiths, S., Boivin, J., et al. (2014). The Association Between Exaggeration in Health Related Science News and Academic Press Releases. BMJ, 349, g7015.

Související

Navazující scénáře

• Evaluace zdrojů – hodnocení nosiče tvrzení.
• Design falsifikace – co by tvrzení vyvrátilo.
• Vážení důkazů – kam se studie řadí v hierarchii důkazů.

Techniky

• EA-1.3.2 Pseudo-empirická validace – vědecký vzhled bez vědecké opory.
• EA-9.1.8 LLM Confabulation Amplification – vymyšlené zdroje v oběhu.

Sebe-obrana

• Verifikace tvrzení – postup krok za krokem.

Glosář

• Evidence-based – co znamená opírat se o důkazy.
• Pseudoscience – rozlišení vědy a jejího napodobení.
• Replikační krize – proč jedna studie nestačí.