Vzdělávací scénář: Meta-evaluace

Úroveň: Foundation Učební cíl: Hodnotit kvalitu vlastního hodnocení a kalibrovat budoucí postup Doporučená délka: 7 dní vedení deníku, 75 minut skupinové revize Pro koho: všichni, kdo absolvovali scénáře 1–8; vhodné i pro supervizní skupiny

Předchozí scénáře trénovaly jednotlivé dovednosti: detekci, ověřování, vážení důkazů. Meta-evaluace se ptá, jak dobře je ve skutečnosti používáme – ne v cvičení, ale v běžných dnech – a nástrojem je jednoduchý deník rozhodnutí s odhadem jistoty a jeho zpětná revize. Tím se trénuje metakognice: schopnost sledovat vlastní poznávání a odhadnout, kdy víme a kdy jen máme pocit, že víme, kterou Flavell (1979) zavedl jako monitorování a řízení vlastních kognitivních procesů. Deník přitom cíleně míří na známý jev, že lidé s nejmenší kompetencí v dané oblasti bývají nejméně schopni rozpoznat meze svého poznání (Kruger a Dunning, 1999).

Učební cíle

Po scénáři účastník vede strukturovaný deník úsudků s explicitním odhadem jistoty v procentech, protože bez zápisu z doby rozhodnutí nelze kalibraci posoudit (Flavell, 1979). Zpětně porovná odhady s výsledky a odhadne vlastní kalibraci, tedy zda „osmdesátiprocentní jistota“ znamená, že má pravdu asi v osmi z deseti případů; systematické srovnávání subjektivní jistoty se skutečnou úspěšností je jádrem výzkumu kalibrace pravděpodobnostních úsudků (Lichtenstein, Fischhoff a Phillips, 1982). Identifikuje situace, v nichž byl systematicky přesebevědomý nebo naopak nejistý, a odliší špatné rozhodnutí od špatného výsledku, protože rozumné rozhodnutí může dopadnout špatně (Kahneman, 2011). Nakonec formuluje jednu konkrétní změnu postupu, nikoli obecné předsevzetí, které nelze ověřit.

Scénář

Facilitátor rozdá šablonu deníku, v níž každý záznam obsahuje datum, předmět rozhodnutí nebo posouzení, závěr, odhad jistoty v rozmezí padesát až sto procent, oporu závěru, kritérium jeho vyvrácení a termín, kdy bude možné výsledek ověřit; účastník zapíše alespoň deset úsudků z pracovního i osobního života, například „klient přijde na příští sezení“, „zpráva, kterou jsem dnes četla, se potvrdí“ nebo „kolega mi neřekl celou pravdu“. Explicitní odhad jistoty je nutný proto, že bez něj nelze kalibraci vůbec měřit (Lichtenstein, Fischhoff a Phillips, 1982). Během šesti dnů účastník zapisuje průběžně a nehodnotí; ilustrativní, smyšlený příklad ukazuje terapeuta, který zapíše šest úsudků s jistotou devadesát procent a více, přičemž o týden později se dva ukážou jako mylné a oba se týkaly lidí, které zná déle než rok – známost totiž svádí nahradit pozorování obrazem z minulosti (Kahneman, 2011). Sedmého dne účastníci rozdělí své úsudky do pásem jistoty (padesát až šedesát devět, sedmdesát až osmdesát devět, devadesát až sto procent) a spočítají, jaký podíl se v každém pásmu potvrdil; výsledky zanesou do jednoduchého grafu s odhadnutou jistotou na jedné ose a skutečnou úspěšností na druhé, kde dobře kalibrovaný posuzovatel leží blízko úhlopříčky (Lichtenstein, Fischhoff a Phillips, 1982). U každého mylného úsudku pak účastník odpoví, zda bylo rozhodnutí rozumné vzhledem k informacím, které měl, a pokud ne, kde se úvaha zlomila.

Signály, kterých si všimnout

Prvním signálem je přesebevědomí v nejvyšší kategorii: úsudky s jistotou devadesát procent a více se potvrzují výrazně méně často, což je nejčastější vzorec nekalibrace (Lichtenstein, Fischhoff a Phillips, 1982), viz epistemická kalibrace. Druhým je blízkost jako zdroj chyb, protože u lidí, které známe dlouho, nahrazuje aktuální pozorování zavedený obraz (Kahneman, 2011). Třetím jsou chybějící kritéria vyvrácení, neboť záznamy bez vyplněného „co by to vyvrátilo“ bývají ty, u nichž se výsledek nejsnáze dodatečně přeinterpretuje. Čtvrtým je zpětné zkreslení, kdy se při revizi zdá, že „to bylo jasné od začátku“; tento efekt zkoumal Fischhoff (1975) jako systematické zkreslení vzpomínky na vlastní dřívější odhad, a právě proto je klíčové mít zápis z doby rozhodnutí. Pátým je mizení nepohodlných záznamů, kdy se úsudky, které se nepotvrdily, v deníku „nenajdou“.

Diskusní otázky

Diskuse se zaměří na to, v které kategorii jistoty byli účastníci nejhůře kalibrovaní, zda existuje typ úsudků – o lidech, o informacích, o sobě – v němž chybují systematicky, a zda najdou rozhodnutí, které bylo rozumné, ale dopadlo špatně, i opačné; rozlišení kvality rozhodnutí a výsledku je základem dobrého úsudku v nejistotě (Kahneman, 2011). Dále se zvažuje, jak se lišily úsudky ve dnech únavy nebo tlaku, co znamená špatná kalibrace pro odolnost vůči někomu, kdo předkládá jistotu, a jakou jednu změnu účastník zavede a jak pozná, že funguje; sledovat vlastní stav poznání je přesně ta metakognitivní funkce, kterou scénář rozvíjí (Flavell, 1979).

Modelové odpovědi

Nejhorší kalibrace bývá typicky v nejvyšší kategorii jistoty, což neznamená, že se máme stát nejistými, ale že si máme vyhradit „jsem si jistý“ pro situace s nezávislým potvrzením (Lichtenstein, Fischhoff a Phillips, 1982). Rozlišení rozhodnutí a výsledku chrání před dvěma chybami, před sebeobviňováním za smůlu a před sebechválou za štěstí, protože kvalitu volby je třeba posuzovat podle informací dostupných v čase rozhodnutí (Kahneman, 2011). Kdo přeceňuje vlastní jistotu, snadno přejímá cizí, a kdo ji podceňuje, je zranitelný vůči indukované pochybnosti, takže kalibrace chrání oběma směry (Flavell, 1979). Dobrá změna je měřitelná, například „u úsudků o lidech, které znám přes rok, si zapíšu jedno pozorování z posledního týdne, než řeknu závěr“, čímž se obecné předsevzetí převádí na ověřitelný krok.

Časté chyby

Nejčastější chybou je používat deník jako přiznání: kdo jej využívá k sebetrýznění, přestane ho vést, ačkoli smyslem je data sbírat, nikoli se hodnotit. Druhou je příliš málo záznamů, neboť z pěti úsudků nelze o kalibraci říct nic a i deset je málo, s čímž je třeba počítat při interpretaci (Lichtenstein, Fischhoff a Phillips, 1982). Třetí je zapisovat jen snadno ověřitelné úsudky, protože deník zaplněný předpověďmi počasí neřekne nic o úsudcích o lidech. Čtvrtou je obecné předsevzetí typu „budu pozornější“, které nelze ověřit, a je tedy z hlediska metakognitivního tréninku prázdné (Flavell, 1979).

Debriefing pro facilitátora

Facilitátor nechá účastníky nejprve pracovat individuálně s vlastními daty, přičemž skupinové sdílení je dobrovolné a agregované, a zdůrazní, že nedokonalá kalibrace je normální stav lidského úsudku, nikoli selhání (Kahneman, 2011). Cílem cvičení je zavést zvyk, ne vynést verdikt, protože trvalá metakognitivní dovednost vzniká opakovaným monitorováním, nikoli jednorázovým hodnocením (Flavell, 1979). U účastníků, kteří mají za sebou zkušenost se soustavným zpochybňováním vlastního vnímání, může revize vyvolat sebepochybnost, a proto pomáhá zdůraznit i úsudky, které se potvrdily, a odkázat na skok sebepochybnosti jako signál, s nímž je dobré pracovat s podporou. Meta-evaluace se vrací i ve scénáři o metakognitivním kolapsu, kde je monitorovací funkce narušena.

Rozšiřující úkoly

Jako přenos lze prodloužit deník na měsíc a sledovat, zda se kalibrace mění, protože delší řada dává spolehlivější odhad (Lichtenstein, Fischhoff a Phillips, 1982). Dalším úkolem je spojit deník úsudků s reflektivním žurnálováním a zapisovat i to, jak se účastník při rozhodnutí cítil, čímž se monitorování rozšíří o afektivní rozměr (Flavell, 1979). Posledním je navrhnout, jak by tým mohl společně revidovat své úsudky o klientech nebo případech, aniž by vznikla atmosféra kontroly, tedy přenést individuální nástroj do skupinové supervize (Kahneman, 2011).

Literatura

• Fischhoff, B. (1975). Hindsight ≠ Foresight: The Effect of Outcome Knowledge on Judgment Under Uncertainty. Journal of Experimental Psychology: Human Perception and Performance, 1(3), 288–299.
• Flavell, J. H. (1979). Metacognition and Cognitive Monitoring. American Psychologist, 34(10), 906–911.
• Kahneman, D. (2011). Thinking, Fast and Slow. New York: Farrar, Straus and Giroux.
• Kruger, J., & Dunning, D. (1999). Unskilled and Unaware of It. Journal of Personality and Social Psychology, 77(6), 1121–1134.
• Lichtenstein, S., Fischhoff, B., & Phillips, L. D. (1982). Calibration of Probabilities: The State of the Art to 1980. In D. Kahneman, P. Slovic, & A. Tversky (Eds.), Judgment Under Uncertainty: Heuristics and Biases. Cambridge: Cambridge University Press.

Související

Navazující scénáře

• Rozpoznání kognitivních zkreslení – zkreslení, která revize odhaluje.
• Design falsifikace – kritéria vyvrácení v deníku.
• Metakognitivní kolaps – když monitorovací funkce selže.

Techniky a signatury

• EA-3.1.3 Metakognitivní kultivace – systematický rozvoj metakognice.
• Epistemická kalibrace – měření souladu jistoty a přesnosti.

Sebe-obrana

• Metakognitivní monitoring – průběžné sledování úsudku.
• Revize přesvědčení – jak měnit názor bez ztráty stability.

Glosář

• Metakognitivní deficit – klinická podoba narušení.
• Epistemická pokora – postoj, který kalibraci umožňuje.