7.56 Zuboff: Surveillance Capitalism a behavioral futures🔗

Shoshana Zuboff, sociální psycholožka a profesorka emerita Harvard Business School, se proměnou práce a moci v informační ekonomice zabývá od osmdesátých let. V knize In the Age of the Smart Machine rozlišila dvě tváře informačních technologií: technologie, které práci automatizují, a technologie, které o ní zároveň vytvářejí nové informace, tedy ji informatizují (Zuboff, 1988). Na tuto linii navázal článek o „Velkém Jiném“ (Big Other) (Zuboff, 2015) a rozsáhlá kniha The Age of Surveillance Capitalism, v níž Zuboff popisuje nový ekonomický řád založený na získávání a prodeji předpovědí lidského chování (Zuboff, 2019).

Kapitola nejprve vykládá Zuboffinu teorii podle těchto prací, poté shrnuje kritiku a teprve v samostatném oddíle nabízí interpretaci kompendia. Zuboff mluví o modifikaci chování v ekonomickém a politickém smyslu; vztažení jejích pojmů k epistemické anihilaci je výkladem, nikoli jejím tvrzením (srov. Zuboff, 2019). Teorie digitálního věku, s nimiž kapitola souvisí, uvádí rozcestník 7. Teoretické a metakonceptuální reflexe.

Behaviorální přebytek a produkty predikce🔗

Dohledový kapitalismus (surveillance capitalism) Zuboff definuje jako řád, který si jednostranně nárokuje lidskou zkušenost jako bezplatnou surovinu pro převod na data o chování (Zuboff, 2019). Část těchto dat slouží ke zlepšení služby, kterou uživatel používá. Zbytek, který Zuboff nazývá behaviorálním přebytkem (behavioral surplus), si firma ponechává jako vlastnictví, zpracovává jej strojovou inteligencí na produkty predikce a prodává je na trzích behaviorálních futures, tedy zákazníkům, kteří chtějí vědět, co lidé udělají teď, brzy a později.

Zuboff tento model sleduje k Googlu na počátku dvacátého prvního století, kdy firma po splasknutí internetové bubliny zjistila, že vedlejší data o vyhledávání lze využít k cílení reklamy, a dále k jeho rozšíření do dalších firem a odvětví (Zuboff, 2019). Rozhodující není, že firmy shromažďují data, ale že se data o chování stala surovinou, jejíž těžba a zpracování jsou vlastním obchodním modelem, a uživatel tak není zákazníkem, ale zdrojem suroviny.

Od predikce k modifikaci chování🔗

Logika konkurence podle Zuboffové vede od imperativu těžby k imperativu predikce. Přesnější předpovědi vyžadují nejprve více dat (úspory z rozsahu), pak rozmanitější a hlubší data – o poloze, emocích, osobnosti, tělesném stavu (úspory ze šíře) – a nakonec zásah do samotného chování, protože nejjistější předpověď je ta, kterou lze vyvolat (Zuboff, 2019). Tyto úspory z jednání (economies of action) Zuboff popisuje jako ladění, směrování a podmiňování chování prostřednictvím architektury digitálního prostředí. Jako doklad uvádí mimo jiné rozsáhlý experiment na sociální síti, v němž úprava zobrazovaných příspěvků mírně ovlivnila emoční vyznění toho, co uživatelé sami publikovali (Kramer, Guillory a Hancock, 2014).

Zuboff dále popisuje opakovaný cyklus vyvlastnění: vpád do dosud nedotčené oblasti zkušenosti, postupné zvykání uživatelů a veřejnosti, dílčí ústupky při odporu nebo regulaci a přesměrování praxe do jiné podoby, která sleduje tentýž cíl (Zuboff, 2019). Tento cyklus vysvětluje, proč jednotlivé skandály a pokuty podle ní samotný model nezměnily.

Instrumentální moc a Velký Jiný🔗

Pro novou formu moci zavádí Zuboff pojem instrumentální moc (instrumentarian power) a odlišuje ji od totalitarismu. Totalitní moc chtěla ovládnout duše a vynucovala si oddanost terorem a propagandou; instrumentální moc o vnitřní přesvědčení nestojí, chce znát a tvarovat chování k cílům druhých a působí prostřednictvím všudypřítomné výpočetní infrastruktury, kterou Zuboff nazývá Velký Jiný (Big Other) (Zuboff, 2015; Zuboff, 2019). Intelektuálním předchůdcem této moci je podle ní radikální behaviorismus B. F. Skinnera, který svobodu a důstojnost považoval za předvědecké fikce, jež brání technologii řízení chování (Skinner, 1971).

Zuboff tím vědomě kontrastuje svůj pojem s Orwellovým Velkým bratrem i s Foucaultovým panoptismem, v němž dohled vede k internalizaci normy (Foucault, 1975): instrumentální moc podle ní nepotřebuje, aby člověk normu přijal, stačí, aby se choval předvídatelně. Proti ní Zuboff klade právo na budoucí čas (right to the future tense), tedy schopnost slibovat, chtít a jednat jako autor vlastní budoucnosti, a právo na útočiště, tedy na prostor, kam dohled nedosáhne (Zuboff, 2019).

Recepce a kritika🔗

Kniha měla mimořádný ohlas, ale i zásadní kritiku. Morozov namítl, že Zuboff vykládá dohledový kapitalismus jako odchylku od jinak zdravého kapitalismu a přehlíží, že sběr dat vyrůstá z obecné logiky akumulace a konkurence, kterou popisuje klasická politická ekonomie (Morozov, 2019). Srnicek tuto logiku analyzuje jako platformní kapitalismus, v němž data slouží jako surovina různých obchodních modelů, nikoli jen predikce chování (Srnicek, 2017).

Druhá linie kritiky zpochybňuje sílu tvrzení o modifikaci chování. Doctorow tvrdí, že Zuboff přebírá marketingové sliby reklamního průmyslu o jeho vlastní účinnosti a že skutečným problémem je monopolní postavení několika firem, které by mělo řešit soutěžní právo (Doctorow, 2020). Hwang ukazuje, že trh s cílenou reklamou trpí neprůhledností a přeceňováním hodnoty pozornosti (Hwang, 2020), a ekonometrické studie upozorňují, jak obtížné je účinek reklamy vůbec spolehlivě změřit (Lewis a Rao, 2015). Experiment s emoční nákazou navíc vyvolal spor o etiku výzkumu bez informovaného souhlasu, ale i o to, že naměřený efekt byl velmi malý (Kramer, Guillory a Hancock, 2014).

Interpretace pro kompendium EA🔗

Následující oddíl je interpretací kompendia. Pro odlišení legitimního vlivu od manipulace v digitálním prostředí je užitečné vymezení Susserové, Roesslerové a Nissenbauma: manipulace je skrytý vliv, který využívá zranitelnosti člověka a obchází jeho schopnost rozhodovat z vlastních důvodů (Susser, Roessler a Nissenbaum, 2019). Tím se liší od transparentního pošťouchnutí (nudge), které Thaler a Sunstein obhajovali jako volbu výchozího nastavení, jež lze snadno odmítnout (Thaler a Sunstein, 2008). Zuboffiny úspory z jednání odpovídají v tomto rozlišení spíš manipulaci, protože jejich cílem je chování výhodné pro třetí stranu a jejich mechanismus není uživateli viditelný (srov. Zuboff, 2019).

Kompendium z toho přebírá dvě poučení. Za prvé, strukturní manipulace nepotřebuje manipulátora v osobním smyslu; vzorec je vepsán do architektury prostředí, a proto se nedetekuje podle úmyslu jednotlivce, ale podle znaků prostředí – neprůhlednosti, asymetrie informací a obtížnosti odchodu (srov. Susser, Roessler a Nissenbaum, 2019). Za druhé, souhlas udělený kliknutím na podmínky, které nikdo nečte, nesplňuje nároky informovaného souhlasu. Draperová a Turow popsali, že uživatelé nejsou vůči dohledu lhostejní, ale rezignovaní: vědí o něm, nesouhlasí s ním a nevěří, že by mohli něco změnit (Draper a Turow, 2019). Tato rezignace je pro kompendium detekčním znakem podobným naučené bezmoci, nikoli projevem svobodné volby.

K rezignaci přispívá i rétorika, kterou Zuboff nazývá inevitabilismem: tvrzení, že vývoj technologie je nevyhnutelný a že kdo se mu brání, staví se proti budoucnosti (Zuboff, 2019). Taková rétorika funguje jako delegitimizace odporu a připomíná politiku nevyhnutelnosti, kterou popisuje kapitola 7.53 Snyder: O tyranii. Politický rozměr se projevuje v cílení politických sdělení podle profilů, které kompendium rozebírá v kapitole 7.8 Politická a ideologická EA; Harari tentýž vývoj popisuje jako schopnost algoritmů znát lidi lépe, než znají sami sebe, a vidí v ní hrozbu pro liberální představu autonomního voliče (Harari, 2018), jak uvádí kapitola 7.52 Harari: Sapiens, narativ a fikční řády.

V klinice (Sekce 06 – Klinické aplikace) a prevenci se rámec promítá do práce s informačním prostředím klienta, kterou popisují kapitoly prevence digitální hygienou a informační půst; jejich cílem není technologický asketismus, ale obnova kontroly nad tím, co člověk vidí a sdílí (srov. Zuboff, 2019). Právní rámec tvoří nařízení (EU) 2016/679 (GDPR), které vyžaduje právní základ zpracování, omezuje automatizované rozhodování včetně profilování a v Česku je provedeno zákonem č. 110/2019 Sb., o zpracování osobních údajů; nařízení (EU) 2022/2065 o digitálních službách zakazuje klamavé uspořádání rozhraní a omezuje reklamu cílenou na nezletilé a nařízení (EU) 2024/1689 o umělé inteligenci zakazuje systémy, které podprahově nebo manipulativně podstatně narušují chování a způsobují závažnou újmu.

Meze a otevřené otázky🔗

Zuboffina teorie je kritickou syntézou, nikoli empiricky ověřeným modelem účinku na jednotlivce, a kritika ukazuje, že síla behaviorální modifikace může být menší, než kniha naznačuje (Doctorow, 2020; Lewis a Rao, 2015). Interpretace kompendia proto nemá z uživatele digitálních služeb dělat oběť manipulace a z každé platformy pachatele; přínos rámce je v pojmech pro strukturní asymetrii moci a informací. Otevřenou otázkou zůstává, zda je odpovědí regulace dat, soutěžní právo, nebo obojí, a jak chránit prostor útočiště, aniž by se z ochrany stal další nástroj dohledu (srov. Zuboff, 2019). Filozoficky nejhlubší je otázka, kdo je autorem budoucího času, pokud je já samo modelem, který mozek vytváří, jak tvrdí Metzinger (Metzinger, 2009) v kapitole 7.42 Metzinger: Ego Tunnel a fenomenální self-model; Zuboffino pojetí autonomie s touto otázkou podle výkladu kompendia nepracuje.

Literatura🔗

• Doctorow, C. (2020). How to Destroy Surveillance Capitalism. OneZero.
• Draper, N. A., a Turow, J. (2019). The corporate cultivation of digital resignation. New Media & Society.
• Evropský parlament a Rada EU (2016). Nařízení (EU) 2016/679 (obecné nařízení o ochraně osobních údajů). Úřední věstník EU.
• Evropský parlament a Rada EU (2022). Nařízení (EU) 2022/2065 o jednotném trhu digitálních služeb. Úřední věstník EU.
• Evropský parlament a Rada EU (2024). Nařízení (EU) 2024/1689, kterým se stanoví harmonizovaná pravidla pro umělou inteligenci. Úřední věstník EU.
• Foucault, M. (1975). Surveiller et punir: Naissance de la prison. Gallimard.
• Harari, Y. N. (2018). 21 Lessons for the 21st Century. Spiegel & Grau.
• Hwang, T. (2020). Subprime Attention Crisis: Advertising and the Time Bomb at the Heart of the Internet. FSG Originals.
• Kramer, A. D. I., Guillory, J. E., a Hancock, J. T. (2014). Experimental evidence of massive-scale emotional contagion through social networks. Proceedings of the National Academy of Sciences.
• Lewis, R. A., a Rao, J. M. (2015). The unfavorable economics of measuring the returns to advertising. Quarterly Journal of Economics.
• Metzinger, T. (2009). The Ego Tunnel: The Science of the Mind and the Myth of the Self. Basic Books.
• Morozov, E. (2019). Capitalism's New Clothes. The Baffler.
• Skinner, B. F. (1971). Beyond Freedom and Dignity. Knopf.
• Srnicek, N. (2017). Platform Capitalism. Polity.
• Susser, D., Roessler, B., a Nissenbaum, H. (2019). Online manipulation: Hidden influences in a digital world. Georgetown Law Technology Review.
• Thaler, R. H., a Sunstein, C. R. (2008). Nudge: Improving Decisions about Health, Wealth, and Happiness. Yale University Press.
• Zákon č. 110/2019 Sb. (2019). Zákon o zpracování osobních údajů.
• Zuboff, S. (1988). In the Age of the Smart Machine: The Future of Work and Power. Basic Books.
• Zuboff, S. (2015). Big other: Surveillance capitalism and the prospects of an information civilization. Journal of Information Technology.
• Zuboff, S. (2019). The Age of Surveillance Capitalism: The Fight for a Human Future at the New Frontier of Power. PublicAffairs.

Související🔗

Teoretické reflexe

• 7.59 Floridi: Čtvrtá revoluce a infosféra – filozofie informačního prostředí.
• 7.6 Computational epistemology – výpočetní modely poznání.
• 7.7 EA v digitálním věku – algoritmy a generativní modely.
• 7.41 Clark: Rozšířená mysl a kognitivní artefakty – technologie jako součást mysli.
• 7.49 Clark: Natural-Born Cyborgs – hluboká integrace s technologiemi.
• 7.22 Honneth: Rozpoznání a boj o uznání – sociální podmínky autonomie.

Glosář

• Panoptismus – dohled jako internalizace normy.
• Informed consent – meze souhlasu kliknutím.
• Epistemická alienace – odcizení od vlastní zkušenosti.

Prevence a filozofie

• Prevence digitální hygienou – kontrola nad informačním prostředím.
• Informační půst – dočasné omezení expozice.
• Intellectual Sovereignty – svrchovanost vlastního úsudku.