Argument jedinou studií🔗

Pole	Hodnota
Identifikátor	AF-08.06
Katalog	Argumentační fauly
Rodina	Klamy hodnot, přírody a vědy
Druh	neformální klam
Anglicky	Single-study fallacy
Jiné názvy	jedna studie dokazuje, klam jediné studie
Užití	chyba i taktika
Riziko zneužití	střední
Stav textu	text čeká na odbornou recenzi

Definice🔗

Argument jedinou studií je chyba, při níž se jediný výzkumný výsledek, často nový, malý nebo předběžný, pokládá za rozhodnutí otázky, nebo se jím vyvrací soubor dřívějších důkazů. Chyba má dva směry. V prvním se jedna studie s žádaným výsledkem vydává za průkaz, například v titulku „vědci dokázali“ nebo v reklamě, která se opírá o jediný pokus výrobce. Ve druhém se jedna studie s odlišným výsledkem staví proti souboru výzkumů, který k jinému závěru dospěl opakovaně, a vyvozuje se z ní, že „věda neví“ nebo že dosavadní poznání padlo. V obou směrech se přehlíží, že každý jednotlivý výsledek je zatížen náhodným kolísáním, omezeními vzorku a designu a možnými chybami, a že spolehlivost poznání vzniká teprve opakováním a souhrnem. Učebnice logiky řadí ukvapené zobecnění mezi klamy chybné indukce, kdy se z nedostatečného základu vyvozuje obecný závěr (Copi, Cohen a McMahon 2014); argument jedinou studií je jeho podobou v prostředí odborných publikací. Chyba úzce souvisí se zákonem malých čísel, tedy s intuitivním přeceňováním toho, jak dobře malý vzorek reprezentuje celek. Heslo popisuje, jak argument rozpoznat a jak určit, jakou váhu jednomu výsledku skutečně přisoudit.

Původ a souvislosti🔗

Požadavek opakovatelnosti patří k základům novověké vědy. Popper ho formuloval výslovně: za vědecky významné pokládal jen takové účinky, které lze kdykoli znovu vyvolat, a jednotlivý výskyt, který se nedá zopakovat, podle něj pro vědu význam nemá (Popper 1959). Tversky a Kahneman ukázali, že intuice i zkušených výzkumníků s tímto požadavkem nesouhlasí: dotazovaní psychologové očekávali, že výsledek malé studie se při opakování potvrdí, mnohem častěji, než odpovídalo statistice, a vzorky pokládali za reprezentativnější, než ve skutečnosti byly (Tversky a Kahneman 1971). Na veřejné scéně chybu posiluje způsob, jakým se o výzkumu informuje. Zpráva o nové studii je novinkou, kdežto souhrn mnoha studií novinkou není, a proto se veřejnost dozvídá spíš o jednotlivých výsledcích, které si navzájem odporují, než o tom, co ukazují souhrnně. Huff už v polovině padesátých let upozorňoval, že malé a nevhodně vybrané vzorky dávají výsledky, které se snadno prezentují jako objev (Huff 1954). Rozsáhlé projekty opakování psychologických a biomedicínských studií v druhém desetiletí jednadvacátého století ukázaly, že nemalá část publikovaných výsledků se při nezávislém opakování nepotvrdila nebo se potvrdila v menší míře. Druhý směr chyby, vyvracení souboru důkazů jedinou studií, se uplatňuje zejména ve sporech o zdravotní rizika; známá studie z konce devadesátých let, která spojovala očkovací látku s autismem a byla po zjištění vážných pochybení stažena, je v diskusích dodnes uváděna jako protiklad desítek studií, které souvislost nenašly.

Struktura argumentu🔗

V prvním směru má argument viditelnou premisu „studie S zjistila X“ a závěr „X platí“. Nevyslovená premisa tvrdí, že jeden výzkumný výsledek stačí k přijetí obecného tvrzení. Ve druhém směru zní argument „studie S zjistila opak dosavadního poznání, tedy dosavadní poznání neplatí“, a skrytá premisa tvrdí, že jedna studie má stejnou nebo větší váhu než soubor jiných. Obě premisy přehlížejí faktory, které určují, jakou váhu má jednotlivý výsledek. Je to velikost vzorku a s ní spojená přesnost odhadu, design studie, zda šlo o pozorování, nebo o kontrolovaný pokus, způsob výběru účastníků, počet testovaných hypotéz, z nichž se uvádí jen ta úspěšná, a flexibilita analýzy. Patří sem i publikační zkreslení: studie s výrazným výsledkem mají větší šanci být publikovány a citovány, takže to, co se k veřejnosti dostane, není náhodným výběrem z provedeného výzkumu. Toulminovým slovníkem jde o argument s oprávněním bez výhrad a bez kvalifikátoru; správně formulovaný závěr by nesl výraz míry jistoty, například „předběžně“ nebo „v této populaci“, a výslovné podmínky, za nichž by neplatil (Toulmin 1958). Když se jedna studie vybírá z mnoha proto, že má žádaný výsledek, přechází chyba ve výběr třešniček, a když se spočítávají studie bez ohledu na jejich váhu, v klam rovnováhy důkazů.

Detekční znaky🔗

Typické jsou formulace „nová studie dokazuje“, „vědci zjistili“ nebo „konečně je to potvrzeno“, po nichž chybí informace o tom, jak výsledek zapadá do dřívějšího výzkumu. Zpráva neuvádí velikost vzorku, populaci ani design, nebo uvádí relativní změnu bez absolutních čísel. Zdrojem bývá tisková zpráva výrobce, instituce nebo autora, nikoli souhrn nezávislých prací. Častá je práce, která dosud neprošla recenzním řízením, nebo naopak práce stažená, která se dál cituje. Ve druhém směru se znak projevuje jako „ale jedna studie ukázala…“, které má zrušit soubor důkazů a přesunout důkazní břemeno na celý obor; mluvčí přitom zpravidla nezmiňuje, kolik studií dospělo k opačnému závěru a jak se liší kvalitou. Varovným znakem je i selektivní nárok: tentýž mluvčí, který jedné studii připisuje rozhodující váhu, odmítá desítky jiných jako „jen studie“. Pro kompendium je podstatná souvislost s technikou selektivní expozice, kdy se publiku soustavně předkládají jen vybrané výsledky, takže si vytvoří obraz poznání, který neodpovídá celku. Damer řadí mezi podmínky dobrého argumentu dostatečnost důvodů, tedy to, aby premisy svým počtem, váhou a druhem stačily k přijetí závěru (Damer 2009); jediná studie tuto podmínku u obecného tvrzení splňuje jen výjimečně.

Odlišení od platné argumentace🔗

Jedna studie může mít velkou váhu, pokud je velká, dobře navržená, předem registrovaná a provedená nezávisle na těch, kdo mají na výsledku zájem. I tehdy však její váha roste, když se výsledek opakováním potvrdí, a klesá, když se nepotvrdí. Důležitou výjimkou je logická asymetrie, na kterou upozornil Popper: jediné spolehlivé pozorování může vyvrátit obecné tvrzení, kdežto žádný počet potvrzení ho definitivně nedokáže. Popper však zároveň trval na tom, že vyvracející pozorování samo musí být opakovatelné, tedy že teorii nevyvrací ojedinělý výsledek, ale reprodukovatelný účinek, který s ní je v rozporu (Popper 1959). Jedna studie s odlišným výsledkem je tedy důvodem k opakování, nikoli k okamžitému zavržení dosavadního poznání. Legitimní je i jednání podle jediného výsledku tam, kde jde o bezpečnost a čekání by mělo vážné následky; jde pak o rozhodnutí za nejistoty, které se otevřeně opírá o předběžný signál, a ne o tvrzení, že je otázka vyřešena. Kdo předběžný výsledek popíše jako předběžný, uvede jeho omezení a podmíní změnu doporučení opakováním, argumentuje správně. Odlišit je třeba i oprávněnou kritiku souboru důkazů. Pokud jedna velká a kvalitní studie ukáže, že dřívější malé studie byly zatíženy společnou chybou, jde o argument o kvalitě důkazů, nikoli o argument jedinou studií.

Stav poznání🔗

Tversky a Kahneman popsali víru v zákon malých čísel jako sklon očekávat, že i malé vzorky budou věrně odrážet populaci, a ukázali, že se jí nevyhýbají ani odborníci, kteří statistické zásady znají (Tversky a Kahneman 1971). Kahneman tento sklon později zařadil do širšího rámce rychlého intuitivního myšlení, které vytváří soudržný příběh z toho, co má právě k dispozici, a nezohledňuje, co chybí; jediná studie s jasným výsledkem takový příběh nabízí (Kahneman 2011). Gigerenzer ukázal, jak způsob podání výsledků ovlivňuje jejich vnímání: výsledek vyjádřený jako relativní změna rizika působí mnohem dramatičtěji než tentýž výsledek vyjádřený v absolutních číslech, a zprávy o jednotlivých studiích tohoto rozdílu často využívají (Gigerenzer 2002). Přehled výzkumu konfirmačního zkreslení dokládá, že lidé vyhledávají a výše hodnotí doklady, které podporují jejich dosavadní přesvědčení (Nickerson 1998), a jediná studie se žádaným výsledkem je k tomu ideálním materiálem. Metodologická literatura proto zdůrazňuje systematické přehledy a metaanalýzy, které shrnují všechny dostupné studie podle předem stanovených kritérií, i když i tyto souhrny mohou být zkresleny, pokud jsou zkreslena data, z nichž vycházejí. Obecné metodologické zásady, z nichž kompendium samo vychází, shrnují metodologické poznámky.

Obrana a odpověď🔗

První otázkou je, jak výsledek zapadá do toho, co se o věci ví. Existuje systematický přehled, a co říká? Kolik studií dospělo k podobnému nebo opačnému závěru a jak se liší kvalitou? Druhou otázkou je, jaká byla studie: kolik měla účastníků, jaký měla design, kdo ji financoval, zda prošla recenzním řízením a zda nebyla stažena. Třetí otázkou je, zda byl výsledek nezávisle zopakován. Tyto otázky se kladou stejně v obou směrech, tedy i u studie, jejíž výsledek odpovídá vlastnímu přesvědčení; právě v tom je jejich obranná síla, protože chrání i před vlastním konfirmačním zkreslením. Govier doporučuje posuzovat, zda premisy dávají dostatečné důvody pro závěr, a odlišovat to od otázky, zda jsou samy přijatelné (Govier 2010); jedna studie může být přijatelnou premisou, a přesto nedostatečným důvodem. Když se jedna studie staví proti souboru důkazů, je užitečné připomenout, že důkazní břemeno nese ten, kdo tvrdí, že soubor důkazů neplatí, a že prvním krokem k tomu by bylo opakování studie. V klinické a právní praxi je vhodné, aby se v doporučeních a posudcích uvádělo, na kolika a jakých studiích závěr stojí, a odlišovalo se, co je potvrzené a co předběžné. Čtenář, který se setká s titulkem „nová studie dokazuje“, se nemusí rozhodovat hned; počkat na opakování je u většiny otázek rozumnější než přijmout nebo zavrhnout výsledek podle jedné zprávy.

Literatura🔗

• Copi, I. M., Cohen, C., & McMahon, K. (2014). Introduction to Logic (14. vyd.). Harlow: Pearson.
• Damer, T. E. (2009). Attacking Faulty Reasoning: A Practical Guide to Fallacy-Free Arguments (6. vyd.). Belmont: Wadsworth.
• Gigerenzer, G. (2002). Calculated Risks: How to Know When Numbers Deceive You. New York: Simon & Schuster.
• Govier, T. (2010). A Practical Study of Argument (7. vyd.). Belmont: Wadsworth.
• Huff, D. (1954). How to Lie with Statistics. New York: W. W. Norton.
• Kahneman, D. (2011). Thinking, Fast and Slow. New York: Farrar, Straus and Giroux.
• Nickerson, R. S. (1998). Confirmation bias: A ubiquitous phenomenon in many guises. Review of General Psychology, 2(2), 175–220.
• Popper, K. R. (1959). The Logic of Scientific Discovery. London: Hutchinson.
• Toulmin, S. E. (1958). The Uses of Argument. Cambridge: Cambridge University Press.
• Tversky, A., & Kahneman, D. (1971). Belief in the law of small numbers. Psychological Bulletin, 76(2), 105–110.

Související🔗

Rodina a hierarchie

• Klamy hodnot, přírody a vědy – rodina, do níž heslo patří, s přehledem všech jejích hesel

Příbuzná hesla

• Ukvapené zobecnění – příbuzné heslo (Klamy předpokladu, Hasty generalisation)
• Výběr třešniček – příbuzné heslo (Klamy předpokladu, Cherry picking)
• Zákon malých čísel – příbuzné heslo (Statistické a pravděpodobnostní klamy, Law of small numbers)
• Klam hledání jinde – příbuzné heslo (Statistické a pravděpodobnostní klamy, Look-elsewhere effect)
• Odvolání na anekdotu – příbuzné heslo (Klamy hodnot, přírody a vědy, Anecdotal fallacy)
• Klam rovnováhy důkazů – příbuzné heslo (Klamy hodnot, přírody a vědy, Balance-of-evidence fallacy)
• Klam placeba – příbuzné heslo (Klamy hodnot, přírody a vědy, Placebo fallacy)

V kompendiu

• EA-1.1.1 Selektivní expozice – stránka knihy, na které se toto heslo projevuje nebo s ní souvisí
• 2.4 Metodologické poznámky k taxonomii – stránka knihy, na které se toto heslo projevuje nebo s ní souvisí

V katalogu

• Vědecký žargon jako argument – předchozí heslo rodiny
• Odvolání na anekdotu – další heslo rodiny