Výzva za pozastavení vývoje AI není úplně vedle. Její filozofické pozadí ale ano

Hana Vincourová –⁠

Dvě seminární práce hotové, navrch prezentace, a ještě k tomu volné odpoledne. Programátorský oříšek rozlousknutý za pouhé minuty s minimálním mentálním úsilím. Volný čas pro odpočinek s vodní dýmkou, která je připravená podle návodu co nejoptimálněji. Pokud by někoho napadlo, že se jedná o popis běžného dne nadčlověka, je trochu vedle. Úvod se týká dvou sourozenců, kteří objevili kouzlo služby chatGPT, která je postavená na pokročilém jazykovém modelu. Veřejnost na technologii zareagovala nadšením, které někteří odborníci nevidí jako úplně adekvátní. Jiní v nové generaci AI modelů vidí hrozbu, která se může dřív nebo později vymknout kontrole.

Najdou se rodiče, kteří vidí už v současném chatGPT pekelného posla, který přišel zničit schopnost jejich potomků nad čímkoli přemýšlet. Hlavní je ale uvažovat nad tím, co s sebou přinese vývoj AI v budoucnosti. Existují globální hrozby a problémy, které jde označit za krátkodobé nebo střednědobé. Patří mezi ně třeba environmentální a finanční náklady spojené s deep learningovými systémy.

Zatímco průměrný člověk je odhadem zodpovědný asi za 5 tun CO₂ ročně, při trénovacím procesu velkého modelu založeného na neuronové síti typu Transformer se ročně vyprodukuje 284 tun CO₂. Energie spotřebovaná na chod technologie navíc často nepochází z obnovitelných zdrojů (přičemž i ty představují pro životní prostředí zátěž). Datová centra se ve vývoji stále soustředí hlavně na zlepšování přesnosti výstupů modelů, a dokonce i na poli výzkumu je měření takových ukazatelů jako energetická efektivita vedlejší.

Mezi další problémy spojené s moderními jazykovými modely patří nevyzpytatelnost obřích objemů dat, ze kterých výstupy AI vycházejí. Nesou v sobě různé stereotypy a zkreslení; mnohem více například zastupují pohled zaběhnutého mocenského režimu a nedostatečně reprezentují menšiny. S rostoucími objemy trénovacích dat navíc bude klesat schopnost vývojářů dostatečně je dokumentovat.

V posledních týdnech přitáhla pozornost petice Pause Giant AI Experiments: An Open Letter. Apeluje na významné AI laboratoře, aby nejméně na půl roku zastavily vývoj modelů „mocnějších než GPT-4“. Podepsalo ji mnoho známých podnikatelů v technologické oblasti, mimo jiné CEO společností SpaceX, Tesla a Twitter Elon Musk nebo spoluzakladatel firmy Apple Steve Wozniak, i významní odborníci.

Výzva není bez kontroverzí. Je velmi nepravděpodobné, že by vůbec šlo provést to, co navrhuje. Jak argumentuje petice německé neziskové organizace LAION, která vznikla v reakci, šestiměsíční moratorium na vývoj AI by vytvořilo ideální podmínky pro firmy a státy, které by se jím neřídily a ve vývoji mezitím dělaly pokroky. Výzkumná komunita by zároveň byla značně omezená, co do důkladné kontroly bezpečnosti pokročilých systémů.

Nebezpečný longtermismus

Největším problémem petice Pause Giant AI Experiments je však její původ. Stojí za ní Future of Life Institute, jehož etika stojí na filozofii sociálního hnutí Efektivní Altruismus. Mezi základní předpoklady směru patří, že při konání co největšího dobra záleží na počtu – čím více lidem pomůžeme, tím lépe. Z efektivního altruismu pak vychází teorie longtermismu. Podle té má více lidí, než existovalo dosud, teprve přijít v budoucnosti, a proto je třeba v duchu co největšího dobra stavět současná rozhodnutí na zodpovědnosti vůči početným budoucím generacím.

Zde přichází na scénu problémy spojené s AI, které jsou podstatné z dlouhodobého hlediska. Podle efektivních altruistů by mělo být prioritou omezit šanci definitivního zániku lidstva ve jménu toho, aby druh naplnil svůj „potenciál“. Pod tímto poměrně vágním pojmem se skrývají scénáře zahrnující třeba transhumanismus nebo kolonizaci dalších částí vesmíru. Právě nekontrolovaný rozvoj umělé inteligence a její ovládnutí lidstva je podle efektivních altruistů jedním z největších rizik, která mohou lidstvo dovést k zániku a zamezit tak naplnění jeho „potenciálu“.

K tomu, abychom nechtěli úplný zánik lidstva, nemusíme vyznávat longtermismus. Je v pořádku cítit zodpovědnost také za lidi, kteří teprve mají přijít. Ale jenom do té doby, dokud to neznamená amorální zacházení s reálnými, v současnosti žijícími lidmi. Longtermismus ale přesně tohle zahrnuje.

Představme si situaci, kdy je člověk postavený před dvě tlačítka. Jedním má možnost zachránit život milionu aktuálně žijících lidí, kteří trpí hladem; stisknutím druhého zvýší z nuly na jednu miliontinu pravděpodobnost, že bude mít v budoucnu šanci existovat lidská populace, která se početně bude pohybovat v úplně jiných řádech. V duchu longtermismu dává větší smysl druhá možnost.

Efektivní altruisté v souladu s longtermismem podceňují riziko globálních problémů, jako je klimatická krize. Jako zásadní problém by ji viděli pouze v případě, že by znamenala existenční riziko pro náš druh. Tato nebezpečná ideologie nejen, že zlehčuje minulé katastrofy jako světové války, ale může sloužit jako ospravedlnění pro budoucí genocidy.

Je v pořádku obávat se, k čemu může vést vývoj vyspělé AI. A to z důvodů, jako jsou ekologické dopady na nejchudší obyvatele světa, diskriminace menšin, i ohrožení samotné existence lidstva. Pokud ale jistá skupina lidí, jejíž filozofie směřuje k naplnění lidského potenciálu v dlouhodobém měřítku, vyzývá k pozastavení vývoje AI výhradně z posledního důvodu, je na tom něco alarmujícího. Zvlášť když jsou mezi nimi technologičtí magnáti. A zvlášť když někteří zástupci hnutí marginalizují dopady problémů, které nás čekají v blízké budoucnosti.

Petice z půdy Future of Life Institute získala pozornost i v českých médiích. V článcích, které se jí týkají, ale není zmíněno, jaké myšlenky za ní stojí. Samotné sdělení petice pravděpodobně je na místě a je dobře, že o ní média informovala. Je ale chyba, že zprávy opomíjejí kontext jejího původu.

Text vznikl pod vedením Mgr. Davida Klimeše, Ph.D.

Ilustrační fotografie: Canva