7.36 Searle: Čínský pokoj a kritika silné AI🔗

John R. Searle, americký filozof, který většinu kariéry působil na Kalifornské univerzitě v Berkeley, se proslavil nejprve teorií řečových aktů a poté statí Minds, Brains, and Programs, v níž představil myšlenkový experiment čínského pokoje (Chinese Room Argument). Argument míří proti tezi, kterou Searle nazval silnou umělou inteligencí: že vhodně naprogramovaný počítač doslova rozumí a má mysl (Searle, 1969; Searle, 1980).

Pro kompendium EA je Searle důležitý ze dvou důvodů. Jeho rozlišení syntaxe a sémantiky dává pojmový nástroj pro posouzení tvrzení, že systémy umělé inteligence „rozumějí“, „cítí“ nebo „chápou“, a jeho teorie institucionálních faktů ukazuje, jak společenská realita – peníze, soudy, instituce – závisí na kolektivním uznání, a je proto zranitelná. Stránka vykládá jeho teorie podle primárních děl, uvádí hlavní námitky a v oddílu označeném jako interpretace knihy ukazuje jejich použití (Searle, 1995).

Výklad teorie🔗

Silná a slabá AI🔗

Searle rozlišuje dvě teze. Podle slabé AI je počítač užitečným nástrojem pro studium mysli, protože umožňuje přesně formulovat a testovat hypotézy o kognitivních procesech. Podle silné AI není vhodně naprogramovaný počítač jen nástrojem, ale sám je myslí: o počítači se správným programem lze doslova říci, že rozumí a má kognitivní stavy (Searle, 1980). Searle slabou AI přijímá a silnou odmítá.

Čínský pokoj🔗

Searle si představuje, že je zavřen v místnosti a neumí čínsky. Dostává lístky s čínskými znaky a má k dispozici příručku v angličtině, která mu říká, jaké znaky vrátit na jaké vstupy. Pokud je příručka dost dobrá, jeho odpovědi jsou pro čínsky mluvící lidi venku k nerozeznání od odpovědí rodilého mluvčího. Přesto Searle čínsky nerozumí – manipuluje jen formálními symboly podle jejich tvaru (Searle, 1980). Protože počítač dělá podle Searla v podstatě totéž, ani on nerozumí jen tím, že vykonává program.

Searle argument později shrnul do podoby úsudku: programy jsou čistě formální (syntaktické), lidské mysli mají obsah (sémantiku) a syntaxe sama o sobě nestačí k sémantice; z toho plyne, že programy samy nestačí k mysli (Searle, 1984). V knize The Rediscovery of the Mind přidal silnější tezi: syntaxe není vnitřní vlastností fyzikálních procesů, ale je jim přisuzována pozorovatelem (Searle, 1992).

Odpovědi a Searlovy repliky🔗

Searle v původní stati sám rozebral několik námitek. Odpověď systémem tvrdí, že nerozumí člověk, ale celý systém pokoje; Searle odpovídá, že si lze představit, že se člověk naučí celou příručku nazpaměť, a ani pak čínsky rozumět nebude. Odpověď robotem navrhuje dát programu senzory a motorické výstupy; Searle odpovídá, že tím jen přibudou další formální vstupy. Odpověď simulátorem mozku navrhuje napodobit neurony; Searle odpovídá, že simulace kauzálních vlastností mozku není jejich zdvojením, stejně jako simulace bouřky nikoho nepromočí (Searle, 1980).

Intencionalita, Síť a Pozadí🔗

V knize Intentionality Searle rozvíjí teorii mentálních stavů zaměřených na svět. Každý intencionální stav má obsah a podmínky splnění a dává smysl jen v Síti (Network) dalších přesvědčení a přání a na Pozadí (Background) neintencionálních schopností a dovedností – umět chodit, rozpoznávat předměty, zacházet s věcmi –, které samy nejsou představami (Searle, 1983). Teorie intencionality je pro Searla důvodem, proč nelze mysl zredukovat na manipulaci se symboly.

Biologický naturalismus🔗

Searlovo vlastní řešení problému mysli a těla nazývá biologický naturalismus: vědomí je skutečný biologický jev, způsobený neurobiologickými procesy a realizovaný v mozku, podobně jako trávení je jevem trávicí soustavy. Vědomí je ontologicky subjektivní – existuje jen jako prožitek někoho –, ale lze je zkoumat epistemicky objektivně (Searle, 1992). Searle tím odmítá jak dualismus, tak funkcionalismus a eliminativismus.

Pozice	Co je mysl	Vztah k silné AI
Substanční dualismus	nemateriální substance	stroj mysl mít nemůže
Funkcionalismus	funkční organizace, mnohonásobně realizovatelná	správný program by stačil
Eliminativní materialismus	lidová psychologie je mylná teorie	otázka ztrácí smysl
Biologický naturalismus (Searle)	biologický jev s kauzálními silami mozku	program nestačí, stroj se stejnými kauzálními silami by mohl

Konstrukce společenské reality🔗

V knize The Construction of Social Reality Searle rozlišuje hrubá fakta, která existují nezávisle na lidech (hora, molekula), a institucionální fakta, která existují jen díky kolektivnímu uznání (peníze, manželství, vlastnictví, soudní rozhodnutí). Jejich logickou formou je pravidlo „X se počítá jako Y v kontextu C“: papír se počítá jako peníze, slib před úředníkem jako sňatek (Searle, 1995). Kolektivní intencionalita uděluje statusové funkce, které s sebou nesou práva a povinnosti; v knize Making the Social World Searle ukazuje, že všechna institucionální fakta vznikají deklarací (Searle, 2010).

Kritika a meze teorie🔗

Daniel Dennett považuje čínský pokoj za „pumpu intuic“, která čtenáře vede k chybnému závěru tím, že nepředstavitelně složitý systém líčí jako jednoho člověka s příručkou. Odpověď systémem podle něj Searle nevyvrátil: že nerozumí člověk v pokoji, nevylučuje, že rozumí celek (Dennett, 1991). Paul a Patricia Churchlandovi přirovnali argument k námitce, že světlo nemůže být elektromagnetickým vlněním, protože mávání magnetem místnost neosvětlí; intuice o tom, co by mělo nastat, podle nich nerozhoduje o tom, co nastane (Churchland a Churchland, 1990).

Stevan Harnad přijal část Searlova závěru a přeformuloval jej jako problém ukotvení symbolů: symboly systému musí být spojeny se smyslovým a motorickým kontaktem se světem, jinak jejich význam zůstává parazitní na interpretaci pozorovatele (Harnad, 1990). Sborník, který uspořádali Preston a Bishop (2002), dokládá, že po dvou desetiletích debaty neexistuje shoda, zda argument platí, ani v čem přesně je jeho chyba, pokud nějaká je.

V debatě o velkých jazykových modelech se argument vrátil. Bender a Koller (2020) tvrdí, že model učený jen na jazykové formě nemůže dosáhnout významu, protože význam je vztahem formy ke komunikačnímu záměru a ke světu. Chalmers (2023) naopak považuje otázku vědomí a porozumění takových systémů za otevřenou a závislou na jejich budoucí architektuře. Searlův biologický naturalismus bývá kritizován i proto, že neříká, které kauzální vlastnosti mozku jsou pro vědomí podstatné (Dennett, 1991).

Interpretace pro kompendium🔗

Následující oddíl je interpretací knihy, nikoli Searlovým tvrzením. Kniha nerozhoduje spor o porozumění strojů; přebírá z něj rozlišení syntaxe a sémantiky, které je užitečné bez ohledu na jeho výsledek, a teorii institucionálních faktů (Searle, 1980; Searle, 1995).

Připisování porozumění🔗

Joseph Weizenbaum popsal, jak lidé připisovali porozumění a empatii jednoduchému programu ELIZA, který jen přeformulovával jejich vlastní výroky, a varoval před nasazením takových systémů v terapii (Weizenbaum, 1976). Kompendium za rozpoznatelný vzorec považuje situaci, kdy je připisování porozumění záměrně posilováno – systém je prezentován jako přítel, důvěrník nebo autorita, a uživatel si k němu vytvoří pseudoempatickou vazbu. Searlovo rozlišení syntaxe a sémantiky připomíná, že plynulá odpověď sama nedokazuje porozumění (Searle, 1980).

Autorita stroje🔗

Druhým vzorcem je přenesení autority na výstup stroje. Parasuraman a Riley (1997) popsali, jak lidé automatizaci nadměrně důvěřují a přestávají kontrolovat její chyby. Tvrzení „systém to spočítal“ nebo „model to potvrdil“ může sloužit stejně jako dřívější „věda dokázala“: uzavírá diskusi, aniž by ukázalo zdroje a meze. Kompendium proto výstupy strojů posuzuje jako tvrzení, která vyžadují ověření, a za odpovědnost za ně považuje vždy člověka (Weizenbaum, 1976).

Zranitelnost institucionální reality🔗

Searlova teorie institucionálních faktů vysvětluje, proč kampaně, které soustavně popírají legitimitu soudů, voleb nebo odborných institucí, nepůsobí jen na názory: institucionální fakt existuje jen tak dlouho, dokud jej dostatek lidí uznává (Searle, 1995). Kompendium tento vzorec popisuje jako delegitimizaci a odlišuje jej od legitimní kritiky institucí, která navrhuje nápravu a sama se opírá o ověřitelná fakta. Varovným znakem je plošné tvrzení, že „nic z toho není skutečné“, spojené s nabídkou jediné alternativní autority.

Obrana🔗

Obranou je trvat na tom, aby každé tvrzení – lidské i strojové – mělo zdroj a podmínky, za nichž by bylo nepravdivé, a nepřipisovat porozumění a péči tomu, kdo nebo co je neprokazuje jinak než plynulostí řeči (Bender a Koller, 2020). V klinické práci kompendium vychází z Weizenbaumova varování: terapeutický vztah předpokládá odpovědnost a porozumění, které nelze delegovat na systém, jehož porozumění je přinejmenším sporné (Weizenbaum, 1976).

Otevřené otázky🔗

Otevřené zůstává, zda je Searlův argument platný, nebo zda odpověď systémem obstojí (Preston a Bishop, 2002), a zda modely spojené se senzory a jednáním ve světě ukotvení symbolů dosáhnou (Harnad, 1990). Pro tuto knihu je stejně důležitá praktická otázka, jak chránit lidi před připisováním porozumění tam, kde jeho přítomnost nelze ověřit (Weizenbaum, 1976).

Literatura🔗

• Bender, E. M. a Koller, A. (2020). Climbing towards NLU: On meaning, form, and understanding in the age of data. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics.
• Chalmers, D. J. (2023). Could a large language model be conscious? Boston Review.
• Churchland, P. M. a Churchland, P. S. (1990). Could a machine think? Scientific American, 262(1).
• Dennett, D. C. (1991). Consciousness Explained. Little, Brown.
• Harnad, S. (1990). The symbol grounding problem. Physica D, 42.
• Parasuraman, R. a Riley, V. (1997). Humans and automation: Use, misuse, disuse, abuse. Human Factors, 39(2).
• Preston, J. a Bishop, M. (ed.) (2002). Views into the Chinese Room: New Essays on Searle and Artificial Intelligence. Oxford University Press.
• Searle, J. R. (1969). Speech Acts: An Essay in the Philosophy of Language. Cambridge University Press.
• Searle, J. R. (1980). Minds, brains, and programs. Behavioral and Brain Sciences, 3(3).
• Searle, J. R. (1983). Intentionality: An Essay in the Philosophy of Mind. Cambridge University Press.
• Searle, J. R. (1984). Minds, Brains and Science. Harvard University Press.
• Searle, J. R. (1992). The Rediscovery of the Mind. MIT Press.
• Searle, J. R. (1995). The Construction of Social Reality. Free Press.
• Searle, J. R. (2010). Making the Social World: The Structure of Human Civilization. Oxford University Press.
• Weizenbaum, J. (1976). Computer Power and Human Reason: From Judgment to Calculation. W. H. Freeman.

Související🔗

Teoretické reflexe

• 7. Teoretické reflexe – rozcestník sekce.
• Dennett: Intentional Stance – hlavní protivník Searlova argumentu.
• Chalmers: Hard Problem – otázka vědomí, kterou čínský pokoj nechává otevřenou.
• Computational Epistemology – poznání zprostředkované algoritmy.
• Polanyi: Tichá znalost – Pozadí dovedností jako tichá dimenze porozumění.
• Kognitivní vědy – výpočetní teorie mysli a její alternativy.

Glosář

• Intencionalita – zaměřenost mentálních stavů, kterou syntax nevysvětlí.
• Pseudoempatická vazba – vztah k systému, který porozumění jen simuluje.
• Delegitimizace – útok na kolektivní uznání institucí.

Filozofie knihy

• Epistemická integrita – odpovědnost za tvrzení, kterou nelze delegovat na stroj.