Riziko falešně pozitivních detekcí

Okruh: metodologická kritika. Jádro námitky: u vzácného jevu je většina pozitivních nálezů chybná, i když je nástroj dobrý.

Každá detekce dělá dva druhy chyb: přehlédne skutečný případ (falešná negativita), nebo označí nevinného (falešná pozitivita). Kniha se – pochopitelně – soustředí na první chybu, protože chce, aby poškození nezůstalo nepoznané. Tato kritika upozorňuje, že druhá chyba je u jevů typu epistemické anihilace (EA) nejen častá, ale ze zákonitostí pravděpodobnosti často převažující, a že rozhodnutí o tom, kterou chybu snášet, není technické, ale hodnotové (Swets, Dawes a Monahan, 2000).

Dva druhy chyb a jejich cena

Teorie detekce signálu, z níž vychází moderní hodnocení diagnostických testů, odděluje dvě vlastnosti každého rozhodování: schopnost nástroje rozlišit případy od nepřípadů a práh, od něhož se výsledek považuje za pozitivní. John Swets, Robyn Dawes a John Monahan ukázali na příkladech z medicíny, psychiatrie i posuzování rizika násilí, že posunutí prahu nikdy nesníží obě chyby současně; ubere-li se přehlédnutých případů, přibude falešných poplachů, a naopak (Swets, Dawes a Monahan, 2000). Volba prahu proto vyjadřuje, jakou cenu přisuzujeme jednotlivým chybám.

Medicína má pro plošné vyhledávání nemocí dlouhou tradici kritérií. James Wilson a Gunnar Jungner formulovali pro Světovou zdravotnickou organizaci zásady, podle nichž má mít screening smysl jen tehdy, je-li stav závažný, existuje-li pro něj přijatelná léčba, je-li test pro populaci přijatelný a jsou-li dostupné kapacity k potvrzení diagnózy (Wilson a Jungner, 1968). Angela Raffle a Muir Gray později zdůraznili, že každý screeningový program škodí části lidí, které vyšetří, a že jeho přínos se musí posuzovat proti této škodě, ne jen podle počtu zachycených případů (Raffle a Gray, 2007).

Námitka v nejsilnější podobě

Paul Meehl a Albert Rosen ukázali už v padesátých letech, že užitečnost psychometrického znaku nezávisí jen na jeho citlivosti a specificitě, ale i na základní míře (base rate) jevu v populaci, na kterou se použije; je-li jev vzácný, může znak vést k více chybám, než kdyby hodnotitel prostě předpokládal, že jev přítomen není (Meehl a Rosen, 1955). Kahneman a Tversky pak doložili, že lidé – včetně odborníků – základní míru při úsudku systematicky přehlížejí a řídí se tím, jak dobře případ odpovídá představě typického případu (Kahneman a Tversky, 1973). Maya Bar-Hillel tento klam základní míry (base-rate fallacy) podrobně rozebrala a ukázala, za jakých podmínek se mu lidé vyhnou (Bar-Hillel, 1980).

Gerd Gigerenzer a Ulrich Hoffrage ukázali, že chybu výrazně zmenší, když se pravděpodobnosti převedou na přirozené četnosti, tedy na počty lidí v představitelné skupině (Gigerenzer a Hoffrage, 1995). Ilustrační výpočet s hypotetickými, nikoli naměřenými čísly proto pracuje s četnostmi: představme si nástroj, který zachytí 90 % skutečných případů a správně vyloučí 95 % lidí, kteří EA nezažili. Použijeme ho v populaci 10 000 lidí, v níž je jev přítomen u 2 % (srov. Gigerenzer, 2002).

	Skutečně EA	Bez EA	Celkem
Nástroj pozitivní	180	490	670
Nástroj negativní	20	9 310	9 330
Celkem	200	9 800	10 000

Z 670 pozitivních výsledků je správných jen 180, tedy zhruba 27 %. Téměř tři ze čtyř označených lidí EA nezažili. Nástroj přitom není špatný; problém je v tom, kde a k čemu se použije. V klinice, kam přicházejí lidé s obtížemi a s anamnézou, která podezření zakládá, je základní míra mnohem vyšší a podíl chyb klesá. V plošném screeningu zaměstnanců, studentů nebo uživatelů platformy roste. Stejná logika, kterou Gigerenzer (2002) vysvětluje na příkladu mamografie nebo testů HIV v nízkorizikových skupinách, platí i pro dotazníky manipulace.

Kde zasahuje tuto knihu

Kniha obsahuje katalog screeningových instrumentů, kapitoly o populačním screeningu a pracovněprávním screeningu a detekční signatury určené k automatizaci. Všechny tyto nástroje se mohou dostat do prostředí s nízkou prevalencí. Kniha mezi limity diagnostiky riziko falešné pozitivity zmiňuje, ale validované údaje o citlivosti a specificitě svých nástrojů zatím nepředkládá; bez nich nelze pozitivní prediktivní hodnotu odhadnout ani řádově, a podle Meehla a Rosena (Meehl a Rosen, 1955) tedy ani rozhodnout, zda nástroj v dané populaci vůbec pomáhá.

Dopady falešné pozitivity nejsou symetrické s dopady přehlédnutí. Nepravdivé označení za „manipulátora“ může rozbít vztah, ovlivnit rozhodnutí o péči o dítě, ukončit pracovní poměr. Bruce Link a Jo Phelan popsali stigma jako souběh nálepky, stereotypu, oddělení, ztráty postavení a diskriminace, který nastává tam, kde nálepku provází moc (Link a Phelan, 2001); falešně pozitivní nález je právě takovou nálepkou. Nepravdivé označení za „oběť EA“ může zase vést k terapii, která přepisuje vlastní příběh člověka do cizího rámce (viz Iatrogenní účinky a iatrogenní újma).

Ilustrační případ

Obecný kompozit: firma po interní krizi zavede anonymní dotazník „rizika manipulativního vedení“ pro všechny vedoucí. U několika z nich vyjde vysoké skóre. Vedení nemá informaci, jak častý je skutečně manipulativní styl řízení ve firmě, ani jak nástroj funguje v tomto prostředí. Pokud výsledky použije k personálním rozhodnutím, s vysokou pravděpodobností potrestá i lidi, kteří jen vedou nepopulární tým nebo prosazují nepopulární změny. Odpovědné použití stejného dotazníku je jiné: výsledek je podnětem k nezávislému a podrobnějšímu šetření, ne jeho závěrem (Raffle a Gray, 2007); postup takového šetření popisuje kapitola Interní vyšetřování.

Případ má i právní rovinu. Zákon č. 262/2006 Sb., zákoník práce, omezuje, jaké údaje smí zaměstnavatel o zaměstnancích a uchazečích zjišťovat, a zákon č. 110/2019 Sb., o zpracování osobních údajů, spolu s obecným nařízením Evropské unie o ochraně osobních údajů upravuje, za jakých podmínek lze zpracovávat údaje, z nichž lze usuzovat na psychický stav člověka. Plošný dotazník, jehož výsledky mají vliv na pracovní poměr, proto naráží nejen na problém základní míry, ale i na hranice zákonnosti; konkrétní posouzení patří právníkovi, nikoli autorovi dotazníku.

Co námitka neprokazuje

Neprokazuje, že screening je zbytečný. Prokazuje, že screening a rozhodování jsou dvě různé činnosti: screening vybírá lidi, u nichž stojí za to se ptát dál, rozhodování vyvozuje důsledky. Wilson a Jungner (1968) tuto dvoustupňovost zabudovali do samotných zásad screeningu, když požadovali dostupnost potvrzujícího vyšetření a jasnou dohodu o tom, koho léčit. Kde tento druhý stupeň chybí, nejde o screening, ale o rozhodování na základě nespolehlivého signálu.

Neplatí ani, že falešně negativní výsledek je vždy menší zlo. U člověka v akutním ohrožení může mít přehlédnutí vážnější následky než chybné podezření. Proto se práh nastavuje podle účelu – citlivěji tam, kde pozitivní výsledek vede jen k nabídce pomoci, přísněji tam, kde vede k důsledkům pro druhého (Swets, Dawes a Monahan, 2000). Kritika falešné pozitivity tedy nežádá vysoký práh všude; žádá, aby byl práh zvolen vědomě a se znalostí toho, kdo ponese cenu které chyby.

Pojistky pro praxi

První pojistkou je účel před nástrojem. Screeningem se nabízí pomoc, nikdy se jím nerozhoduje o právech, pracovním poměru nebo péči o děti. Tato zásada přímo vyplývá z požadavku Wilsona a Jungnera, aby screening vedl k dostupné a přijatelné intervenci (Wilson a Jungner, 1968), a z varování Raffle a Graye, že program bez jasného přínosu pro vyšetřené přináší jen škody (Raffle a Gray, 2007).

Druhou pojistkou je dvoustupňový postup. Pozitivní screening vždy následuje podrobné posouzení jiným postupem a pokud možno jiným hodnotitelem, který zná výsledek screeningu jen jako důvod k vyšetření, ne jako jeho hypotézu. Tím se zároveň omezuje efekt ukotvení, který by jinak pozitivní výsledek přenesl do celého dalšího posouzení (Swets, Dawes a Monahan, 2000; srov. Kruhové uvažování v detekci EA).

Třetí pojistkou je znát základní míru. Před použitím nástroje se odhadne prevalence v cílové skupině a výsledky se vykládají přirozenými četnostmi („z 10 pozitivních budou správné asi 3“). Gigerenzer a Hoffrage (1995) doložili, že s takto podanou informací lidé uvažují podstatně přesněji než s podmíněnými pravděpodobnostmi, a odstraňuje se tak jeden z hlavních zdrojů kognitivního biasu při výkladu testů.

Čtvrtou pojistkou je validace v cílovém prostředí. Nástroj, jehož vlastnosti nejsou ověřeny v dané populaci, se používá jen jako orientační (viz Self-report instrumenty). Standardy pro psychologické a pedagogické testování výslovně požadují, aby uživatel testu doložil platnost výkladu skóre pro zamýšlené použití a populaci, nikoli jen obecně (American Educational Research Association a kol., 2014).

Pátou pojistkou je, že plošný screening se neprovádí bez doprovodu. Bez nabídky podpory, ochrany dat a možnosti výsledek rozporovat je plošné vyhledávání jen nástrojem označování. Raffle a Gray (2007) popisují informovanost vyšetřovaných, dostupnost následné péče a kontrolu kvality jako nedílnou součást programu, ne jako jeho doplněk; u nástrojů, které se dotýkají psychického stavu, k tomu přistupuje ochrana podle zákona č. 110/2019 Sb.

Co zůstává otevřené

Kniha zatím nemá data, z nichž by šlo odhadnout prevalenci EA v jednotlivých prostředích; kapitola o odhadech prevalence je proto nutně metodologická. Dokud tato data chybějí, nelze pro žádný nástroj knihy spočítat pozitivní prediktivní hodnotu, a každé plošné použití je v přísném smyslu experimentem bez kontrolní skupiny (Meehl a Rosen, 1955). Kniha by to měla u každého nástroje uvádět výslovně.

Otevřená je i otázka, jakou cenu přisoudit jednotlivým chybám: kolik falešných poplachů je přijatelných za jeden zachycený případ. Právní tradice zná podobnou úvahu v Blackstonově zásadě, podle níž je lepší, aby deset viníků uniklo, než aby trpěl jeden nevinný (Blackstone, 1769). To není statistická, ale etická otázka a měla by se rozhodovat výslovně, ne mlčky nastavením prahu; Swets, Dawes a Monahan (2000) proto doporučují, aby rozhodovatelé hodnoty jednotlivých chyb stanovili otevřeně a předem.

Literatura

• American Educational Research Association, American Psychological Association, & National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. American Educational Research Association.
• Bar-Hillel, M. (1980). The base-rate fallacy in probability judgments. Acta Psychologica, 44(3).
• Blackstone, W. (1769). Commentaries on the Laws of England, Book 4. Clarendon Press.
• Gigerenzer, G. (2002). Calculated Risks: How to Know When Numbers Deceive You. Simon & Schuster.
• Gigerenzer, G., & Hoffrage, U. (1995). How to improve Bayesian reasoning without instruction: Frequency formats. Psychological Review, 102(4).
• Kahneman, D., & Tversky, A. (1973). On the psychology of prediction. Psychological Review, 80(4).
• Link, B. G., & Phelan, J. C. (2001). Conceptualizing stigma. Annual Review of Sociology, 27.
• Meehl, P. E., & Rosen, A. (1955). Antecedent probability and the efficiency of psychometric signs, patterns, or cutting scores. Psychological Bulletin, 52(3).
• Raffle, A. E., & Gray, J. A. M. (2007). Screening: Evidence and Practice. Oxford University Press.
• Swets, J. A., Dawes, R. M., & Monahan, J. (2000). Psychological science can improve diagnostic decisions. Psychological Science in the Public Interest, 1(1).
• Wilson, J. M. G., & Jungner, G. (1968). Principles and Practice of Screening for Disease. World Health Organization.

Související

Kritické perspektivy

• Kruhové uvažování v detekci EA – zkreslení, které podíl chyb dál zvyšuje.
• Stigmatizace skrze kategorie EA – co falešně pozitivní nález udělá s člověkem.
• Replikační krize a výzkum EA – odkud by měla přijít validační data.

Kapitoly a nástroje

• Screeningové instrumenty pro EA – nástroje, jichž se výpočet týká.
• Populační screening EA – prostředí s nízkou základní mírou.
• Pracovněprávní screening EA – kontext s vysokou cenou chyby.
• Detection Signatures – automatizovaná detekce, kde se chyby násobí.

Pojmy

• Kognitivní bias – přehlížení základní míry jako jedno ze zkreslení.
• Iatrogenic harm – újma způsobená samotnou péčí.