Bridge: Deepfake

Most vede od hesla glosáře k místům knihy, kde se pojem používá, a od nich k praxi: rozpoznání, obraně a zotavení. Přehled všech mostů je v rejstříku Glossary Bridges.

Pojem

Deepfake je synteticky vytvořený nebo upravený obraz, zvuk či video, které věrohodně zobrazuje člověka, jak říká nebo dělá něco, co nikdy neřekl ani neudělal. Technologicky stojí na hlubokém učení, zejména na generativních modelech, jejichž jednu významnou rodinu – generativní adversariální sítě – popsali Goodfellow a spolupracovníci (2014). Výraz vznikl kolem roku 2017 v online prostředí a rychle se rozšířil do odborné i právní debaty.

Pro knihu deepfake představuje zvláštní epistemickou hrozbu: neútočí jen na jednotlivé pravdivé informace, ale na důvěru v audiovizuální důkaz jako takový. Fotografie a záznam byly dlouho nejsilnějšími doklady o tom, co se stalo. Když je lze přesvědčivě padělat, oslabuje se schopnost společnosti i jednotlivce cokoli doložit.

Deepfake očima knihy

Chesney a Citronová (2019) popsali dva protichůdné, ale souvislé účinky. Prvním je přímá škoda: padělaný záznam poškodí pověst, vydírá, manipuluje volbami nebo trhy. Druhým je to, co nazvali „dividendou lháře“ (liar's dividend): když je obecně známo, že záznamy lze padělat, může každý, kdo byl zachycen při skutečném jednání, prohlásit pravý záznam za podvrh. Kniha považuje druhý účinek za epistemicky závažnější, protože nezasahuje jednotlivý případ, ale samotnou možnost dokazovat.

Na úrovni jednotlivce kniha deepfake spojuje s technikami, které zpochybňují vlastní vnímání a paměť. Člověk, kterému je předložen přesvědčivý záznam něčeho, co si nepamatuje, může začít pochybovat o vlastní paměti – podobně jako u gaslightingu, jen s technologickou oporou. Filozoficky se jev dotýká pojmů hyperreality a simulaker: obraz se odpoutává od skutečnosti, kterou má zobrazovat.

Proč je hrozba nerovnoměrná

Škodu z deepfake nenesou všichni stejně. Nejčastěji zneužívanou podobou jsou podle dostupných analýz nesouhlasné intimní záznamy, které zasahují především ženy; veřejně známé osoby čelí politickým a reputačním padělkům; lidé bez přístupu k právní a technické pomoci se brání nejhůře. Kniha proto obranu nechápe jen technicky, ale i jako otázku ochrany zranitelných skupin a přístupu ke spravedlnosti.

Kde se pojem v knize vyskytuje

Technikám odpovídají EA-2.3.7 Personální deepfake, EA-9.2.1 Deepfake osobnosti, EA-9.2.2 Klonování hlasu a EA-9.2.7 Syntetická svědecká výpověď, která rozebírá riziko pro soudní řízení. Výukový scénář Rozpoznání deepfake učí odborníky postupu ověřování, svépomocný nástroj Detekce obsahu vytvořeného AI nabízí základní kroky pro jednotlivce. Forenzní stránku rozebírají Elektronické důkazy a Řetězec úschovy důkazů.

Od pojmu k praxi

Rozpoznání

Technické znaky – nepřirozené mrkání, nesoulad rtů a zvuku, artefakty na okrajích obličeje – se s vývojem technologie ztrácejí, a proto kniha doporučuje spoléhat spíše na kontextové ověření: odkud záznam pochází, kdo ho zveřejnil jako první, zda existují nezávislé záznamy téže události, zda odpovídá známým okolnostem (místo, čas, počasí). Silná emoční reakce na záznam je důvodem zpomalit, ne sdílet.

Obrana

Na úrovni jednotlivce je obranou ověřovat před sdílením a uchovávat si vlastní záznamy o důležitých událostech. Na úrovni institucí pomáhají postupy pro ověřování původu obsahu, technické standardy pro označování a podepisování záznamů a připravené postupy pro reakci na padělek. Pro média platí zásada nezveřejňovat sporný záznam bez ověření a při zveřejnění padělku zdůrazňovat, že jde o padělek.

Pro oběti

Člověk, o němž koluje deepfake, potřebuje rychlou praktickou pomoc: zajištění důkazů o šíření, žádosti o odstranění u platforem, právní poradenství a psychologickou podporu. Kniha upozorňuje, že oběti často prožívají stud a bezmoc podobné jako po jiných formách zneužití intimity, i když vědí, že záznam je padělaný.

Užitečné je, když má oběť po ruce jednoho člověka, který s ní komunikaci s platformami a úřady vyřizuje; opakované prohlížení padělku kvůli hlášení je samo zatěžující a může prohlubovat traumatizaci.

Zotavení

U obětí je zotavení spojeno s obnovou pocitu kontroly nad vlastní identitou a obrazem. Pomáhá, když okolí jasně a veřejně potvrdí, že záznam je padělek, a když se oběť může opřít o lidi, kteří ji znají. Na úrovni společnosti jde o obnovu důvěry v ověřené zdroje.

Kniha zdůrazňuje, že zotavení nezávisí na tom, zda se podaří padělek zcela odstranit z internetu – to často nejde –, ale na tom, zda oběť zažije, že lidé, na nichž jí záleží, padělku nevěří.

Rámec pro profesionály

Ve forenzní praxi roste význam řetězce úschovy a technického znaleckého posouzení původu záznamu. Soudy a vyšetřovatelé by měli počítat s oběma riziky – s padělkem předloženým jako důkaz i s pravým důkazem napadeným jako padělek. Kniha doporučuje dokumentovat původ záznamu co nejdříve a co nejúplněji.

Odlišení od příbuzných jevů

Deepfake se liší od „levného padělku“ (cheapfake), který používá jednoduché úpravy – zpomalení, střih, chybný popisek – a bývá stejně účinný. Liší se i od satiry, která je jako nadsázka zjevně označena. A od informačních operací se liší tím, že je nástrojem, který operace mohou, ale nemusí využít.

Časté omyly

Častým omylem je spoléhat se na to, že padělek „poznám“. Lidé v rozpoznávání kvalitních padělků nejsou spolehliví. Druhým omylem je opačná skepse – považovat za podvrh vše, co se nehodí; to je přesně „dividenda lháře“. Třetím omylem je myslet si, že problém vyřeší technická detekce sama; detekce a padělání se vyvíjejí souběžně.

Příklad (anonymizovaný kompozit)

Zaměstnankyně obecního úřadu zjistí, že po městě koluje zvukový záznam, na němž údajně uráží občany. Hlas zní jako její. Úřad nezačne interní šetření proti ní, ale nechá záznam technicky posoudit a ověří, kde byla v uvedenou dobu. Ukáže se, že záznam je složen z jejích veřejných vystoupení. Úřad vydá jasné prohlášení. Zaměstnankyně později říká, že nejvíc jí pomohlo, že instituce stála za ní dřív, než bylo vše vyjasněno.

Příklad ukazuje, že rozhodující nebyla technická detekce, ale institucionální postup: úřad nejprve ověřoval a teprve pak jednal, a ověřoval nejen záznam, ale i okolnosti. Tím se vyhnul oběma pastím, které popisují Chesney a Citronová (2019) – nepřijal padělek jako důkaz a zároveň nezpochybnil oprávněnost ověřování. Pro zaměstnankyni měl stejný význam jako výsledek i čas: po celou dobu šetření nebyla vystavena podezření, které by se později těžko smývalo.

Meze a otevřené otázky

Technologie se vyvíjí rychleji než právní a technické nástroje obrany. Otevřené je, jak zajistit ověřitelnost pravých záznamů, aniž by to vedlo k plošnému sledování, a jak chránit oběti napříč jurisdikcemi.

Nejasné je i to, jak se změní svědecká výpověď, když se lidé naučí pochybovat o každém záznamu: může to posílit váhu lidského svědectví, ale také ho vystavit novým tlakům.

Literatura

• Chesney, R., & Citron, D. K. (2019). Deep fakes: a looming challenge for privacy, democracy, and national security. California Law Review, 107(6), 1753–1820.
• Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A., & Bengio, Y. (2014). Generative adversarial nets. Advances in Neural Information Processing Systems, 27.
• Wardle, C., & Derakhshan, H. (2017). Information Disorder: Toward an Interdisciplinary Framework for Research and Policy Making. Council of Europe.

Související

Glosář

• Info-ops – rámec, v němž se deepfake používá.
• Hyperreality – odpoutání obrazu od skutečnosti.
• Chain of custody – ochrana důkazů.
• Doxing – příbuzná forma útoku na osobu.

Kniha

• EA-9.2.1 Deepfake osobnosti – technika.
• Rozpoznání deepfake – výuka.
• Elektronické důkazy – forenzní rámec.
• Detekce obsahu vytvořeného AI – svépomoc.

Sesterské mosty

• Bridge: Info-ops – operační rámec.
• Bridge: Hyperreality – filozofický rámec.

Strukturní vazby

• Deepfake – heslo glosáře, které tento most propojuje s knihou