Slovník pojmů // Pojem ze slovníku Technické

P-hacking

Nepřiznaná flexibilita při sběru, analýze a vykazování dat, například zkoušení více výstupů, přidávání účastníků, dokud výsledek nevyjde významný, nebo selektivní vyřazování pozorování, která zvyšuje šanci získat statisticky významný výsledek. Simulace Simmonse, Nelsona a Simonsohna ukázaly, že kombinace několika takových rozhodnutí může zvýšit míru falešně pozitivních výsledků vysoko nad nominálních 5 %. Praxe bývá často nezáměrná a hlavními pojistkami jsou předregistrace a úplné zveřejnění analytických rozhodnutí.

Kde jej web používá

  • Metody: signály, inference a meze rozpoznání změny stavu

    Jak lze uvažovat o zachycení změny stavu podobné katarzi: signály, příznaky, inference a kontext, výchozí hodnoty, sebevýpověď, cena chyb a etika, a proč každý krok zůstává nejistý. Nic na tomto webu nikoho neměří.

  • Registr důkazů

    Každé veřejné tvrzení tohoto webu s typem, úrovní důkazů, mírou jistoty, zdroji a datem revize a hodnocení každého zdroje. Jak se tvrzení hodnotí, jak se odděluje umění od důkazů a jak nahlásit problém.

Studie, o které se opírá

Práce, na nichž definice stojí, s úrovní důkazů, na kterou byly posouzeny.

  • Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. doi:10.1177/0956797611417632

    Úroveň B Experiment

    Podporuje tvrzení, že nepřiznaná flexibilita při sběru, analýze a vykazování dat může zvýšit míru falešně pozitivních výsledků vysoko nad nominální úroveň. Experimenty byly záměrnými demonstracemi; článek neodhaduje, jak časté takové praktiky jsou.