EA-3.3.4 Evaluační metriky

Identifikace

Pole	Hodnota
EA kód	EA-3.3.4
Kategorie	3. Edukativní implementace
Subkategorie	3.3 Institucionální techniky
Přístupová úroveň	L1 (volný přístup, etická governance vyžadována)
Riziková úroveň	Nízká až střední — primárně edukativní, iatrogenní rizika při nesprávné implementaci
Reverzibilita	Vysoká — edukativní intervence jsou principiálně modifikovatelné
Rodičovská kapitola	Kapitola 3 — Pokročilá edukativní implementace

Definice

Evaluační metriky jsou technika strukturovaného multi-dimenzionálního hodnocení EA programů. Hodnocení integruje input metrics (recruit quality), process metrics (delivery fidelity), output metrics (kompetence) a outcome metrics (long-term impact). Bez integrované evaluace nelze prokázat efektivitu programu. Měření kompetence je samo vrstevnaté: vědět, vědět jak, ukázat a skutečně dělat jsou čtyři různé úrovně a nástroj pro jednu neměří druhou (Miller, 1990).

Struktura vzorce

Pozorovatel pozná funkční evaluaci podle toho, že se ptá i na to, co se nepovedlo. Vedle spokojenosti a znalostí se sleduje chování v praxi a dopad na ty, s nimiž absolventi pracují; právě tyto vzdálenější úrovně se z hodnocení vytrácejí nejdřív (Kirkpatrick, 1994).

Zdegenerovaná podoba se pozná podle toho, že ukazatel začne žít vlastním životem. Program se optimalizuje na čísla, která vykazuje, a kompetence, kterou měla čísla zastupovat, se rozchází s výsledkem. Mechanismus tohoto rozpojení popsal Campbell (1979).

Retrospektivně se znaky objevují v pořadí: nejprve se zúží sada ukazatelů, pak se přestanou sbírat data o těch, kdo program nedokončili, a nakonec se výsledek vykazuje jen tam, kde vychází. Popsané pořadí je pozorovaný sled znaků, nikoli postup. Smysluplné hodnocení odborné způsobilosti proto kombinuje více zdrojů (Epstein a Hundert, 2002).

Interpretace knihy: rozhodující není, zda technika proběhla, ale zda po ní zůstává doložitelná cesta k nesouhlasu.

Měřítko stanoví etické aspekty a etický kodex.

Čtenář a předpoklady

Pole	Hodnota
Pro koho je stránka psána	Institucionální leadership; tvůrci kurikula; certifikační orgány; výzkumní pracovníci
Předpokládaný rámec	Validovaný evaluační framework; institutional research capacity; long-term funding pro follow-up studies

Předpoklady nejsou formalita. Bez mandátu, rozpočtu a transparentního jmenování zůstává orgán závislý na tom, koho má kontrolovat, a jeho rozhodnutí nelze číst jako nezávislá; nezávislost a veřejná odpovědnost patří mezi podmínky, bez nichž nelze mluvit o etickém dohledu (Emanuel, Wendler a Grady, 2000).

Detekční markery (pohled pozorovatele)

Následující znaky jsou to, co člen rady, auditor nebo vyšetřující pozoruje zvenčí; žádný z nich není sám o sobě průkazný a každý se posuzuje proti vlastní historii instituce. Že se formální dohled může zcela míjet s tím, co se skutečně děje, doložil už Beecher (1966) na řadě publikovaných studií.

Co je vidět	Co to naznačuje
Pravidla existují na papíře, ale rozhodnutí vznikají jinde	governance bez skutečné pravomoci
Přezkum nikdy nevede k zamítnutí ani k podstatné úpravě	potvrzovací provoz místo přezkumu
Kritika je vyřizována personálně, nikoli věcně	posun od obsahu k loajalitě
Zadání, financování a hodnocení drží tentýž útvar	strukturální konflikt zájmů
Odstoupení účastníka má nepřiměřené následky	oslabený souhlas
Program sbírá data jen od absolventů, kteří dokončili	zkreslení výběrem přeživších
Ukazatel je současně cílem i měřítkem odměny	ukazatel přestal měřit

Rozlišení od neškodných jevů je nutné: hladký přezkum může odpovídat dobře napsanému návrhu a stabilní financování nemusí nic kompromitovat. Rozhodující je, zda je zájmový vztah vykázán a zda existuje cesta, jak ho zpochybnit (Thompson, 1993).

Odlišení od neškodných jevů

Od neškodných jevů se vzorec odlišuje tím, co zůstává doložitelné. Rychlý přezkum, stabilní financování i jednotné standardy mohou být v pořádku; poznávacím znakem je, že zdůvodnění rozhodnutí přestalo být zapsáno a že zájmový vztah není vykázán (Thompson, 1993).

Druhým rozlišovacím hlediskem je, kdo nese následek. Dobře vedená instituce umí říci, co se stane účastníkovi, který odstoupí, a tento popis odpovídá praxi; tam, kde se následek přesouvá na nejzranitelnější stranu, jde o vzorec, nikoli o provozní detail (Emanuel, Wendler a Grady, 2000).

Hodnotící kritéria

Hodnotící kritéria nejsou cílem práce, ale jejím ukazatelem. Jakmile se měřítko stane cílem, přestává měřit to, kvůli čemu vzniklo — tento efekt popsal Campbell (1979) jako pravidlo, že čím více se kvantitativní ukazatel používá k rozhodování, tím více podléhá zkreslení.

Kritérium	Měřítko
Metric validity	Validation studies pro každou primary metric
Data completeness	>80 % follow-up at year 1, >60 % at year 5
Sensitivity	Detection of program improvements over iterations
Stakeholder utilization	Evidence použité pro program decisions

Rizikové kontexty

Rizikovým kontextem je hodnocení, které zadává a vyhodnocuje tentýž útvar, jenž program dodává. Nezávislost měření je podmínkou, aby nepříznivý nález vůbec vznikl (Campbell, 1979).

Druhým rizikovým kontextem je převod jemné kompetence na jediné číslo. Odborná způsobilost je vícerozměrná a redukce na jeden ukazatel vypouští právě to, co je na ní podstatné (Epstein a Hundert, 2002).

Vztah k jiným technikám

Stránka	Vztah
EA-3.3.1 Institucionální etická rada	Stránka ze stejného okruhu knihy.
EA-3.3.2 IRB protokol design	Stránka ze stejného okruhu knihy.
EA-3.3.3 Architektura kurikula	Stránka ze stejného okruhu knihy.
EA-3.3.5 Certifikační pipeline	Stránka ze stejného okruhu knihy.
EA-3.3.8 Pipeline výzkumné translace	Stránka ze stejného okruhu knihy.
EA-1 Techniky epistemické anihilace	Stránka ze stejného okruhu knihy.
EA-2 Scénáře delegitimizace	Stránka ze stejného okruhu knihy.
EA-5 Kognitivní anihilace	Stránka ze stejného okruhu knihy.

Literatura

• Beecher, H. K. (1966). Ethics and clinical research. New England Journal of Medicine.
• Campbell, D. T. (1979). Assessing the impact of planned social change. Evaluation and Program Planning.
• Emanuel, E. J., Wendler, D., & Grady, C. (2000). What makes clinical research ethical? JAMA.
• Epstein, R. M., & Hundert, E. M. (2002). Defining and assessing professional competence. JAMA.
• Kirkpatrick, D. L. (1994). Evaluating Training Programs: The Four Levels. Berrett-Koehler.
• Miller, G. E. (1990). The assessment of clinical skills/competence/performance. Academic Medicine.
• Thompson, D. F. (1993). Understanding financial conflicts of interest. New England Journal of Medicine.

Související

• Rodičovská kapitola: Kapitola 3 — Pokročilá edukativní implementace
• Sourozenecké techniky (subkategorie 3.3):
  • EA-3.3.1 Institucionální etická rada
  • EA-3.3.2 IRB protokol design
  • EA-3.3.3 Architektura kurikula
  • EA-3.3.5 Certifikační pipeline
• Glossary:
  • Epistemická anihilace
  • Taxonomie EA
  • Metakognice
  • Dual-use poznání
  • Kompendium EA
• Klinické aplikace: Sekce 06 — Klinické aplikace
• Filozofie:
  • Epistemic Integrity

Connect & Contribute

Stránku vytvořil Tomáš Korcak (korczis). Licence obsahu: GHL.

Další rozcestníky: Glossary, Philosophy, Wiki, Kontakt.