EA-2.4.5 Přepis hodnoticích kritérií

Pole	Hodnota
EA kód	EA-2.4.5
Kategorie	2. Scénáře delegitimizace
Subkategorie	2.4 Institucionální zachycení
Přístupová úroveň	L2 (odborná analýza)
Riziková úroveň	Vysoká – kritéria tvarují chování celé instituce na roky
Reverzibilita	Střední; kritéria lze změnit, ale kariéry vybudované podle nich zůstávají
Rodičovská kapitola	3.2 Scénáře epistemické delegitimizace
Rychlá karta	QR: EA-2.4.5

Definice

Přepis hodnoticích kritérií je vzorec, v němž se kritéria, podle nichž instituce hodnotí práci – výzkumné výstupy, výuku, klinickou práci, publikace, projekty –, změní tak, aby zvýhodnila jednu skupinu, metodu nebo typ práce a znevýhodnila jiné. Navenek jde o modernizaci hodnocení; ve skutečnosti se mění, co instituce považuje za kvalitní poznání.

Hodnoticí kritéria mají normativní sílu: lidé se podle nich chovají. Charles Goodhart formuloval pozorování, které se v obecné podobě cituje jako Goodhartův zákon: když se ukazatel stane cílem, přestává být dobrým ukazatelem. Přepis kritérií tuto vlastnost využívá záměrně – vybere ukazatel, v němž vyniká jedna frakce, a učiní ho cílem pro všechny. Na rozdíl od EA-2.1.10, který mění kvalifikační podmínky pro jednotlivce, mění tento vzorec hodnocení celé instituce.

Mechanismus (strukturní popis)

Vzorec má šest prvků; jejich pořadí je pozorovaný sled, nikoli postup.

Prvek přepisu	Čím se ukazuje
Výběr ukazatele	Nové kritérium odpovídá profilu jedné frakce: typu časopisu, typu projektu, druhu spolupráce či metodologii
Váhy	Kritéria, v nichž vynikají jiní (výuka, praxe, monografie, společenský dopad), dostanou nízkou váhu nebo zmizí
Kvantifikace bez obsahu	Hodnocení se redukuje na počty a indexy, obsahové posouzení se nahradí metrikou
Vazba na zdroje	Výsledek hodnocení určuje rozpočet a úvazky (srov. EA-2.4.3)
Zpětné uplatnění	Nová kritéria se použijí na období, v němž platila jiná
Samozřejmost	Kritika kritérií je vykládána jako odpor ke kvalitě

Průběh

Návrh nových kritérií připraví pracovní skupina, v níž převládá jedna frakce; prezentuje se jako sladění s mezinárodní praxí. Po schválení dopadne první hodnoticí kolo na jednotky s jiným profilem; ty přijdou o prostředky nebo o pozice. V dalších letech se lidé přizpůsobují: mění témata, metody a typ publikací. Po několika cyklech instituce vypadá homogenně – ne proto, že jeden přístup zvítězil v debatě, ale proto, že jiný přestal být odměňován. Smaldino a McElreath (2016) popsali tento výběr obecněji: sledují-li odměny počet výstupů, šíří se takové postupy, které výstupy produkují snadno, i když jsou méně spolehlivé.

Fenomenologické znaky (pohled zevnitř)

Znak	Jak ho akademik nebo zaměstnanec popisuje
Neviditelná práce	„To, co dělám nejlépe, se nepočítá.“
Tlak na přizpůsobení	Zvažuje, zda nezměnit obor nebo styl práce.
Odcizení	Práce se mění v honbu za body.
Pocit nespravedlnosti	Hodnocení zpětně podle pravidel, která neznal.
Cynismus	Ztráta víry, že hodnocení měří kvalitu.

Detekční markery (pohled pozorovatele)

Marker	Co může naznačovat
Pracovní skupina pro kritéria složená z jedné frakce	Výběr ukazatele
Zmizení nebo snížení váhy výuky, praxe či monografií	Váhy
Hodnocení bez obsahového posouzení, jen indexy	Kvantifikace bez obsahu
Dopad prvního kola soustředěný na jednotky s jiným profilem	Selektivita
Zpětné uplatnění na minulé období	Retroaktivita

Rizikové kontexty

Výkonové financování vysokých škol, interní hodnocení výzkumu, kariérní řády, hodnocení lékařů podle výkonových ukazatelů, hodnocení novinářů podle dosahu, hodnocení učitelů podle testových výsledků. Riziko je nejvyšší v obdobích reforem, kdy se nová kritéria zavádějí najednou a bez pilotáže.

Odlišení

Jev	Čím se od přepisu kritérií liší
Legitimní reforma hodnocení	Kritéria se mají vyvíjet; reforma je připravena pluralitně, pilotována, vyhodnocena a má přechodná období. Sanfranciská deklarace o hodnocení výzkumu (DORA, 2012) upozorňuje na rizika redukce hodnocení na impakt časopisu
Sladění s praxí oboru	Přizpůsobení kritérií zvyklostem oboru může být oprávněné; vzorcem se stává, když se jeden obor nebo metoda vnutí ostatním
EA-2.1.10	Individuální obdoba: mění kvalifikační podmínky pro člověka, ne hodnocení instituce
EA-2.4.2 Skrytý přepis pravidel	Obecný případ, v němž přepisovaným pravidlem nemusí být hodnocení

Klinický a právní rámec

Klinicky se vzorec projevuje vyhořením, ztrátou smyslu práce, úzkostí z hodnocení a u části lidí morálním stresem, když se přizpůsobují na úkor kvality.

Právně jsou relevantní pravidla vnitřního hodnocení podle vnitřních předpisů instituce, zákaz zpětného uplatnění v neprospěch, pracovní právo (hodnocení zaměstnanců jako podklad pro organizační změny) a u veřejných prostředků pravidla jejich rozdělování. Viz cykly revize pravidel.

Postup pro posuzovatele

Posuzovatel by měl srovnat stará a nová kritéria položku po položce a u každé určit, koho v instituci zvýhodňuje. Dále je užitečné modelovat dopad nových kritérií na data z předchozích let: pokud by nová kritéria zpětně změnila pořadí jednotek ve prospěch těch, kdo je navrhli, je to silný signál. Třetím krokem je posoudit, zda kritéria zahrnují všechny složky poslání instituce (výzkum, výuka, služba společnosti, klinická péče) v rozumném poměru. Nezávislé posouzení zahraničním panelem bývá účinnější než vnitřní debata, kde se spor rychle personalizuje.

Obrana a neutralizace

Pro instituce. Pluralitní příprava kritérií, pilotní kolo bez finančních dopadů, analýza dopadu podle typů jednotek, kombinace metrik s obsahovým posouzením (peer review), přechodná období, pravidelná revize. Viz průzkum kultury a sledovatelnost rozhodnutí.

Pro jednotlivce a jednotky. Dokumentovat celou šíři své práce; účastnit se připomínkování; spojovat se napříč jednotkami; nepřizpůsobovat se na úkor kvality bez vědomého rozhodnutí. Pomáhá vyjasnění hodnot.

Zotavení

Instituce se zotavuje revizí kritérií a obnovou rozmanitosti práce, která byla neodměňována. Jednotlivci potřebují znovu najít vztah k práci, který není jen honbou za ukazateli. Viz axiologická obnova.

Ilustrativní příklad (anonymizovaný kompozit)

Univerzita zavede nový systém hodnocení, v němž rozhoduje počet článků v časopisech z horního kvartilu jedné databáze. Kritéria připravila skupina z přírodovědných oborů. Humanitní katedry, kde se publikuje především v monografiích a domácích časopisech, klesnou v prvním kole na konec pořadí a přijdou o část rozpočtu. Výuka, kterou zajišťují pro celou univerzitu, se v hodnocení neobjevuje. O tři roky později začnou mladí humanitní badatelé psát kratší články do zahraničních časopisů na témata, která tam projdou; domácí témata zmizí.

Otázky pro analýzu

Otázka posuzovatele	Prvek vzorce, k němuž odpověď míří
Kdo připravil nová kritéria a jaké obory a typy práce byly v pracovní skupině zastoupeny?	Výběr ukazatele
Proběhlo pilotní kolo a byla zveřejněna analýza dopadu na jednotlivé jednotky?	Odlišení od legitimní reformy
Které složky poslání instituce (výuka, služba, klinická péče) nová kritéria nezachycují?	Váhy
Byla kritéria uplatněna na období, kdy lidé pracovali podle jiných pravidel?	Zpětné uplatnění
Jak se po zavedení kritérií změnilo chování: témata, typy výstupů, odchody?	Normativní síla ukazatele
Existuje mechanismus, jímž může jednotka požádat o obsahové posouzení místo metriky?	Kvantifikace bez obsahu

Odpovědi na tyto otázky obvykle rozliší nedokonalou, ale poctivou reformu od přepisu, který slouží jedné frakci. Poctivá reforma má zveřejněné podklady, připouští korekci a její autoři sami nesou část nákladů změny.

Meze a otevřené otázky

Každá kritéria někoho zvýhodňují; neutrální měřítko neexistuje. Otevřenou otázkou je, jak udržet srovnatelnost napříč obory, aniž by se jeden obor stal měřítkem všech, a jak hodnotit práci, jejíž přínos se projeví až za desetiletí. Lamontová (2009) ukázala, že hodnoticí panely tento problém řeší neformálně, vyjednáváním mezi obory; formální kritéria by měla takové vyjednávání umožnit, ne nahradit. Kompendium se kloní k tomu, že hodnocení má kombinovat několik nezávislých měřítek a že žádné z nich nemá rozhodovat samo.

Případy, které techniku ukazují

Anonymizované kompozity: kult výzkumné disciplíny a kult akademické školy. Teoreticky souvisí s rozborem krize replikovatelnosti, v níž se motivace k určitému typu výsledků podílela na nízké spolehlivosti publikované literatury.

Literatura

• Goodhart, C. A. E. (1975). Problems of Monetary Management: The U.K. Experience.
• Smaldino, P. E., & McElreath, R. (2016). The natural selection of bad science. Royal Society Open Science.
• Lamont, M. (2009). How Professors Think: Inside the Curious World of Academic Judgment.

Související

Techniky

• EA-2.1.10 Rekonfigurace kvalifikačních standardů – individuální obdoba.
• EA-2.4.3 Přesměrování financí – peníze podle kritérií.
• EA-2.4.6 Zachycení recenzního řízení – obsahové hodnocení pod kontrolou.

Pojmy

• Glosář: epistemická monokultura – výsledek.
• Glosář: krize replikovatelnosti – důsledky motivačních struktur.

Pomoc

• Cykly revize pravidel – řádná revize.