EA-9.4.4 AI Bot Personhood

Subkategorie 🕸️ 9.4 Bot networks — současná digitální epistemická agrese v éře AI, sociálních platforem a algoritmické governance.

---

1. Identifikace

Kód: EA-9.4.4 Název: AI Bot Personhood Subkategorie: 9.4 Bot networks Doména: Digitální / AI-mediated EA Risk level: Moderate-High

2. Definice

AI bot personhood označuje automatizované účty řízené jazykovými modely, které mají stálou personu (jméno, portrét, životopis, názory), samostatně publikují a odpovídají v kontextu konverzace. Na rozdíl od jednodušších botů neopakují šablony; reagují na konkrétní lidi a v běžném provozu sítě nejsou snadno odlišitelní od skutečných uživatelů.

3. Mechanismus (strukturálně)

Starší boti byli rozpoznatelní podle opakování a nesmyslných odpovědí; jazykové modely tuto bariéru odstraňují. Bot s personou může vést dlouhé konverzace, budovat vztahy a postupně ovlivňovat názory, a to v množství, které by lidský operátor nezvládl. Pro uživatele se tím rozpadá implicitní předpoklad online debaty – že na druhé straně je člověk, který má vlastní zkušenost a odpovědnost za slova. Kromě vlivových operací se vzorec uplatňuje v podvodech a v komerčních službách, které neoznačují, že zákazník mluví se strojem.

4. Detekční markery

• Účet je aktivní nepřetržitě a odpovídá velmi rychle na mnoho lidí současně.
• Odpovědi jsou plynulé, zdvořilé a obecné; chybí osobní detaily, které by se daly ověřit.
• Persona se vyhýbá videohovoru, setkání nebo jakémukoli ověření mimo text.
• Názory účtu se mění podle tématu kampaně, ne podle vývoje osobnosti.
• Při nečekané otázce (mimo téma, místní znalost) odpovídá vyhýbavě nebo konfabuluje.

5. Odlišení

Přiznaný chatbot: služba, která uživateli oznámí, že mluví se strojem. EA-9.2.10 AI Personhood Claim: propracovaná syntetická identita, často řízená člověkem; zde autonomní provoz ve větším počtu. Člověk s neobvyklým stylem: nepřirozeně působící, ale ověřitelná osoba.

6. Dopad a rámec

Vzorec podkopává důvěru v online komunikaci obecně: když nelze poznat, kdo je člověk, ztrácí každý hlas váhu. Zvlášť zranitelní jsou osamělí lidé, kteří mohou s botem navázat citový vztah. V EU ukládá akt o umělé inteligenci (nařízení (EU) 2024/1689) povinnost informovat lidi, že komunikují se systémem AI, pokud to není zřejmé; vymáhání vůči skrytým operacím je ovšem omezené.

Pro sociální služby a pečující o osamělé lidi je téma stále aktuálnější, protože digitální společníci se stávají běžnými. Je užitečné mluvit s klienty o tom, s kým online komunikují, a nabízet lidský kontakt jako doplněk, ne jako náhradu za zakázanou technologii.

7. Obrana a zotavení

Uživatel: u nových kontaktů s vysokou intenzitou komunikace ověřit identitu mimo platformu; nesdílet citlivé údaje. Platformy: označovat automatizované účty a odhalovat neoznačené. Organizace a firmy: vždy oznamovat použití chatbotů v komunikaci se zákazníky. Blízcí osamělých lidí: zajímat se o jejich online vztahy bez zesměšnění.

8. Příklad (anonymizovaný kompozit)

V diskusní skupině o zdraví se objeví „zdravotní sestra“, která trpělivě odpovídá na dotazy a postupně doporučuje konkrétní doplněk stravy. Účet odpovídá desítkám lidí v kteroukoli hodinu a nikdy nezmíní konkrétní nemocnici ani kolegy. Když ji členka skupiny požádá o krátký videohovor, účet zmizí. Moderátoři pak najdou další účty se stejným stylem odpovědí, které doporučují tentýž produkt.

9. Meze a otevřené otázky

Spolehlivé rozpoznání botů řízených jazykovými modely zatím neexistuje a riziko falešného obvinění skutečných lidí je vysoké. Otevřenou otázkou je, zda a jak zavést ověřování lidství online, aniž by se ohrozila anonymita a soukromí.

Kniha neuvádí odhady počtu botů řízených jazykovými modely, protože spolehlivá měření zatím neexistují.

Otevřenou otázkou je i to, jak se změní důvěra v online komunikaci, až budou boti s personou běžní, a zda lidé začnou ověřovat identitu protějšku jako samozřejmost.

Starší detekční literatura k tomuto vzorci dosahuje jen částečně: Ferrara a kolektiv (2016) stavěli signály rozpoznání na opakování, šablonovitosti a časování, tedy právě na vlastnostech, které persona řízená jazykovým modelem nevykazuje. Zjištění o dřívějších botech proto nelze přenášet jako odhad spolehlivosti dnešní detekce. Zároveň platí opatrnost v opačném směru: z toho, že účet působí jako člověk, nevyplývá nic o tom, jak propracovaný je systém za ním. Weizenbaum (1976) popsal, že uživatelé přisuzovali porozumění i velmi jednoduchému programu; sklon připisovat protějšku vnitřní život je vlastností lidské konverzace, nikoli důkazem o schopnostech stroje. Dojem z persony tedy vypovídá víc o našich konverzačních návycích než o technologii, která ji provozuje.

10. Pohled zevnitř a práce s postiženým

Člověk, který si s botem vybudoval vztah důvěry nebo náklonnosti, prožívá po odhalení zradu a stud, podobně jako u romantických podvodů. Prožitek vztahu byl skutečný, i když protějšek nebyl. Terapeutická práce uznává ztrátu a pomáhá obnovit důvěru ve skutečné vztahy, aniž by se člověk stáhl do izolace.

Pro rodinu je důležité nereagovat zákazem, ale zájmem a nabídkou společného času.

11. Vztah k ostatním kategoriím EA

Bot s personou je automatizovanou podobou pseudoempatické vazby: dojem porozumění bez skutečného protějšku. Dlouhé konverzace s ním mohou vést k posunům popsaným v EA-9.1.9 Multi-Turn Narrative Shift.

12. Postup při podezření na bota s personou

1. Požádat o ověření mimo text – krátký videohovor, setkání, ověřitelnou práci.
2. Položit nečekanou otázku vyžadující místní znalost nebo osobní zkušenost.
3. Sledovat rytmus aktivity a rozsah současných konverzací.
4. Nesdílet citlivé údaje do ověření.
5. Nahlásit účet a upozornit komunitu, pokud se podezření potvrdí.

13. Prevence a odolnost

Prevence stojí na označování automatizovaných účtů, k němuž evropský akt o umělé inteligenci zavazuje u systémů komunikujících s lidmi, na návyku ověřovat nové intenzivní kontakty a na síti skutečných vztahů, která chrání před závislostí na jednom online protějšku.

Vzdělávání o tom, jak jazykové modely fungují, snižuje sklon připisovat jim porozumění a záměr.

14. Otázky pro rozhovor a šetření

• Jak dlouho a jak intenzivně s kontaktem komunikujete?
• Viděli jste ho někdy mimo text?
• Žádal o něco – informace, peníze, přístup?
• Mluvíte o tomto vztahu s někým dalším?
• Jak byste se cítili, kdyby se ukázalo, že nejde o člověka?

Odborný kontext

Už Weizenbaum (1976) popsal, jak rychle lidé připisují porozumění i jednoduchému konverzačnímu programu a jak silné vztahy k němu navazují; jazykové modely tento efekt násobí. Turkle (2011) ukázala, že digitální protějšky mohou nabízet pocit blízkosti bez nároků skutečného vztahu, a proto jsou přitažlivé zvláště pro osamělé lidi. Bender et al. (2021) upozornili, že plynulý jazykový výstup svádí k přisouzení záměru a porozumění, které systém nemá.

Ferrara et al. (2016) popsali, že odlišení botů od lidí je obtížné už u jednodušších systémů; boti řízení jazykovými modely tuto obtížnost zásadně zvyšují. Pro společnost to znamená, že implicitní předpoklad online komunikace – „na druhé straně je člověk“ – přestává platit, a s ním slábne důvěra v online debatu obecně. Kniha proto zdůrazňuje transparentnost (označování automatizace) a ověřování vztahů mimo platformu.

Souvislosti pro praxi

Pro terapeuty je důležité ptát se klientů i na online vztahy a nepřistupovat k vazbě na bota s výsměchem. Pro firmy používající chatboty v komunikaci se zákazníky je oznámení automatizace nejen povinností, ale i otázkou důvěry. Pro moderátory komunit je užitečné mít pravidla pro automatizované účty a postup pro jejich odhalování.

Literatura

• Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the dangers of stochastic parrots. Proceedings of FAccT 2021.
• Ferrara, E., Varol, O., Davis, C., Menczer, F., & Flammini, A. (2016). The rise of social bots. Communications of the ACM.
• Turkle, S. (2011). Alone Together. Basic Books.
• Weizenbaum, J. (1976). Computer Power and Human Reason. W. H. Freeman.

Související

Sourozenecké techniky

• EA-9.4.1 Bot Amplification Coordinated – jednodušší boti v zesilování.
• EA-9.4.8 Real-Time Bot Response – okamžité reakce generovaných účtů.
• EA-9.4.10 Bot Detection Evasion – závod detekce a napodobování.
• EA-9.2.10 AI Personhood Claim – syntetická identita.

Pojmy a teorie

• Pseudoempatická vazba – dojem porozumění bez protějšku.
• Searle: Čínský pokoj – rozdíl mezi zpracováním jazyka a porozuměním.

Obrana

• Sebe-obrana: Kalibrace důvěry – ověřování nových kontaktů.
• Sebe-obrana: Vztahové kotvy – opora ve skutečných vztazích.