Bridge: Dual-use poznání

Most vede od hesla glosáře k místům knihy, kde se pojem používá, a od nich k praxi: rozpoznání, obraně a zotavení. Přehled všech mostů je v rejstříku Glossary Bridges.

Pojem

Dual-use poznání (poznání dvojího užití) je strukturální etický problém, který vzniká všude, kde je stejné porozumění potřebné k obraně i k útoku. Heslo glosáře zdůrazňuje, že nejde o vadu podání, kterou by šlo odstranit lepší formulací, ale o nevyhnutelnou vlastnost poznání: klinik, který umí rozpoznat gaslighting, mu rozumí natolik, že by ho teoreticky dokázal i vědomě uplatnit. Pro Kompendium je pojem zakládající. Celá kniha je pokusem popsat jevy, které ničí lidské poznávání, tak, aby text sloužil jejich rozpoznání, prevenci a léčbě, a ne jejich provádění.

Kniha proto nepracuje s otázkou, zda o manipulaci psát, ale s otázkou, jak o ní psát: na jaké úrovni podrobnosti, pro koho, s jakými pojistkami a s jakou povinností připojit ke každému popisu mechanismu i jeho detekci a obranu.

Původ a kontext pojmu

Termín pochází z kontroly zbrojení a z biologické bezpečnosti, kde označuje technologie a výzkum použitelné k mírovým i vojenským účelům. Zásadním dokumentem se stala zpráva National Research Council (2004), podle předsedy výboru nazývaná Finkova zpráva, která navrhla posuzovat mikrobiologický výzkum podle toho, zda by jeho výsledky mohly usnadnit zneužití, a doporučila víceúrovňový dohled místo plošných zákazů. Miller a Selgelid (2007) rozebrali filozofickou stránku problému: dilema dvojího užití vzniká tam, kde tentýž poznatek přináší skutečný užitek a zároveň skutečné riziko, a kde nelze jedno mít bez druhého.

Obecnější rámec nabídl Bostrom (2011) pojmem informačních rizik – škod, které mohou vzniknout právě z šíření pravdivých informací. S nástupem strojového učení se diskuse přenesla i na umělou inteligenci; zpráva Brundage a kol. (2018) upozornila, že tytéž schopnosti, které pomáhají odhalovat podvody, mohou usnadnit jejich páchání. Kompendium přenáší tuto tradici na epistemickou bezpečnost – na poznání o tom, jak se dá poškodit lidské poznávání (viz Bridge: Epistemic security).

Jak kniha s dvojím užitím zachází

První pojistkou je úroveň popisu. Techniky jsou ve sbírce Techniky popsány jako vzorce, které vidí pozorovatel: strukturou, znaky, odlišením od neškodných jevů, obranou a zotavením. Vynechává se všechno, co by sloužilo jen tomu, kdo by chtěl vzorec použít – pořadí kroků, formulace, způsoby, jak se vyhnout odhalení. Popis zůstává na úrovni abstraktního modelu hrozby.

Druhou pojistkou je adresát. Kapitola 1.2 Pro koho je určeno vymezuje čtenáře jako kvalifikované odborníky a zasažené, kteří hledají porozumění, a kapitola 1.5 Bezpečnostní klasifikace přístupu popisuje, jak se odstupňuje přístup k podrobnějším rozborům. Ve veřejném vydání jsou všechny stránky psány na úrovni rozpoznání.

Třetí pojistkou je přezkum a etický rámec. Zásady shrnují kapitoly 1.3 Etické aspekty a upozornění a Etický kodex výzkumníka EA; pro výzkum je rozvádí Publikační etika EA výzkumu. Kritické výhrady k celému rámci – včetně rizika, že se kategorie knihy samy stanou zbraní – shromažďuje oddíl Kritické perspektivy.

Od pojmu k praxi

Rozpoznání: kdy text slouží útoku

Pro autora, recenzenta i čtenáře je užitečné rozlišovat funkci textu, nikoli jeho téma. Text slouží obraně, pokud čtenáři umožňuje poznat, že se něco děje, a reagovat. Text slouží útoku, pokud čtenáři umožňuje něco provést lépe, než by to dokázal bez něj. Typickým varovným znakem je optimalizační jazyk – „jak zvýšit účinnost“, „jak překonat odpor“ – a popis z perspektivy toho, kdo jedná, nikoli toho, kdo je zasažen. Kniha se drží perspektivy zasaženého a pozorovatele.

Odlišení

Dual-use poznání neznamená, že by každé poznání o manipulaci bylo nebezpečné. Psychoedukace o tom, že vzorec existuje a jak se projevuje, je jednou z nejúčinnějších ochran: lidé, kteří manipulaci umějí pojmenovat, jsou vůči ní odolnější. Proto kniha odmítá „bezpečnost mlčením“ i plošné utajování. Zároveň se dvojí užití netýká jen textů: nástroje, které chrání, například systémy sledování chování na webu, mohou v jiných rukou sloužit dohledu nad lidmi.

Obrana a rámec pro profesionály

Pro instituce, které s citlivým poznáním pracují, plynou z pojmu praktické zásady: oddělovat materiál pro rozpoznání od podrobností konkrétních případů; u výukových materiálů vždy uvádět obranný účel a doplnit je o postup, jak reagovat; posuzovat materiály někým, kdo na nich nepracoval; a pečovat o to, aby anonymizované kazuistiky nebyly identifikovatelné. Pro kliniky a znalce to znamená popisovat v dokumentaci pozorované jednání a jeho účinek, ne obecné „techniky“, které by šlo vyjmout a použít jinde.

Zasažený čtenář

Kniha počítá i se čtenářem, který hledá porozumění vlastní zkušenosti. Pro něj má dvojí užití jiný rozměr: popis mechanismu může vyvolat bolestné rozpoznání a otevřít otázky, na které je lepší odpovídat s oporou odborníka. Kniha proto u každého jevu odkazuje na postupy obrany a zotavení, například na Praktické návody sebe-obrany.

Časté omyly

Omylem je myslet si, že problém dvojího užití lze vyřešit tím, že se o manipulaci nebude psát. Mlčení chrání především toho, kdo manipuluje, protože zasažení nemají slova pro to, co prožívají. Druhým omylem je věřit, že dostatečně abstraktní text je vždy neškodný; abstrakce riziko snižuje, ale neruší, a proto ji kniha kombinuje s dalšími pojistkami. Třetím omylem je chápat dual-use jako výmluvu pro neprůhlednost: kniha naopak otevřeně uvádí, co a proč vynechává. Dobrým historickým příkladem obou stran je Cialdiniho (1984) přehled principů vlivu, který slouží spotřebitelům jako ochrana i obchodníkům jako příručka – a ukazuje, že rozhodující je, z jaké perspektivy a k jakému účelu je text napsán.

Příklad (anonymizovaný kompozit)

Lektorka připravuje kurz pro pracovníky linky důvěry o rozpoznávání nátlakových vztahů. Kolega navrhne přidat ukázky „typických vět“, kterými kontrolující partner izoluje oběť. Lektorka je nezařadí jako hotový seznam, ale jako příklady z perspektivy volajícího – co oběť slyší, jak to popisuje a jaké otázky jí pomohou situaci pojmenovat. Pracovníci se naučí vzorec rozpoznat, ale kurz nevytváří text, který by se dal použít jako návod.

Meze a otevřené otázky

Hranice mezi poznáním k rozpoznání a poznáním k provedení není ostrá a liší se podle čtenáře. Otevřenou otázkou je, jak ji držet v době generativních modelů, které z abstraktního popisu dokážou vytvořit konkrétní text, a jak sladit otevřenost vědy s ohledem na informační rizika. Nejasné zůstává také, jak měřit, zda kniha jako celek více chrání, než škodí; kniha tuto mez přiznává a spoléhá na přezkum a zpětnou vazbu odborných čtenářů.

Literatura

• Bostrom, N. (2011). Information hazards: A typology of potential harms from knowledge. Review of Contemporary Philosophy, 10, 44–79.
• Brundage, M., Avin, S., Clark, J., et al. (2018). The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation. Future of Humanity Institute a další.
• Cialdini, R. B. (1984). Influence: The Psychology of Persuasion. William Morrow.
• Miller, S., & Selgelid, M. J. (2007). Ethical and philosophical consideration of the dual-use dilemma in the biological sciences. Science and Engineering Ethics, 13(4), 523–580.
• National Research Council (2004). Biotechnology Research in an Age of Terrorism. National Academies Press.

Související

Glosář

• Dual-use poznání – heslo, které tento most propojuje s knihou.

Kniha

• 1.3 Etické aspekty a upozornění – etická východiska knihy.
• 1.5 Bezpečnostní klasifikace přístupu – úrovně podrobnosti.
• Etický kodex výzkumníka EA – pravidla pro výzkum a kazuistiky.
• Kritické perspektivy – rizika rámce samého.

Sesterské mosty

• Bridge: Epistemic security – makrorámec knihy.

Strukturní vazby

• Dual-use poznání – heslo glosáře, které tento most propojuje s knihou