Smysl skutečnosti

Minulý měsíc natočil indický politik Manoj Tiwari video, na kterém promlouvá ke svým potenciálním voličům a přesvědčuje je, proč volit zrovna jeho stranu. Přes mobilní aplikaci WhatsApp si poté našlo cestu k přibližně 15 milionům diváků. Na první pohled běžná součást předvolební kampaně. Jenže video existuje v několika verzích. A ne na všech mluví skutečný Tiwari.

Indie je totiž země, kde se hovoří mnoha jazyky a dialekty. Jeden politik rozhodně nemůže ovládat všechny, ovšem znalost konkrétního dialektu může voliče přesvědčit, že to zrovna s nimi myslí upřímně. Proto si nechal Tiwari kromě originálu, kde hovoří anglicky, vytvořit také video, kde k divákům promlouvá hindským nářečím haryanvi. V něm ovšem nemluví on, nýbrž jeho počítačem vytvořený model. Poselství v haryanvi namluvil profesionální herec, a původní video bylo následně upraveno tak, aby seděl pohyb rtů a zvuk zněl jako Tiwariho vlastní hlas.

Jde o první použití tzv. deepfaku v politické kampani, a je zarážející, jak málo pozornosti se mu dostalo. Deepfake je technologie fungující na bázi umělé inteligence, která nejprve dostane či sama nasbírá dostatek podkladů, typicky se jedná o již existující projevy na kameru nějaké osobnosti. Na jejich základě vytvoří jakýsi počítačový model dané osoby, který může dále upravovat nebo s ním pracovat. Tvůrce deepfaku poté může např. změnit obsah toho, co osoba říká, a program video upraví takovým způsobem, že výsledek bude k nerozeznání od originálu. Nejslavnějším příkladem je video Barracka Obamy, na kterém bývalý prezident Spojených států vysvětluje hrozbu deepfaků – aniž by skutečný Obama někdy něco takového řekl.

S deepfaky se roztrhl pytel kolem roku 2017, ovšem až dosud byly používány především pro zábavu nebo aby upozornily na potenciální hrozbu, již deepfaky představují. Kromě toho se uchytily v odvětví, které opakovaně ukazuje svůj potenciál jako první adaptovat nové technologie – pornografii. Díky deepfakům lze totiž „obsadit“ do hlavních rolí známé celebrity.

Až do nynějška se upozorňovalo právě na takovéto použití deepfaků – jejich tvorba umožňuje ukazovat osoby dělat věci, které nikdy neudělaly, nebo říkat, co nikdy neřekly. Potenciál pro politické využití se tak viděl zejména v očerňování protivníků. Tilwari ovšem postupoval zcela opačně. Využil deepfake, aby diváky přesvědčil, že umí něco, co ve skutečnosti neumí. V angličtině se pro to uchytil pojem „pozitivní“ deepfake, aniž by se tím jakkoliv hodnotila etická stránka věci. Pozitivní využití deepfaků totiž skrývá ještě více hrozeb než to negativní.

Zaprvé, deepfaky je čím dál těžší odhalit. V případě Tilwariho se jednalo o poměrně neumělé video a sami někteří diváci upozorňovali na nesedící pohyb rtů či změněný hlas. V Indii, kde je mediální gramotnost u spousty obyvatel na nízké úrovni, to ovšem k ovlivnění mnoha lidí stačilo. A ve zbytku světa už existují deepfaky, které rozhodně nejdou odhalit tak lehce. Jak navíc upozorňují znalci problematiky dezinformací, nebezpečí spočívá především v tom, že s jejich nástupem už si nemůžeme být jisti vůbec ničím, co se na internetu vyskytne. Ovšem ověřovat úplně všechno také není v lidských silách. Proto je pozitivní deepfake tak nebezpečný. Pokud se totiž upraví projev někoho jiného, je dost pravděpodobné, že dotyčný, pokud video zaznamená, se proti němu ohradí. Následně může dojít k přezkumu a případnému odhalení deepfaku. Ovšem pokud si politik upraví vlastní projev či předstírá, že udělal něco, co neudělal, bude mnohem těžší ho z podvodu vůbec podezřívat, natož usvědčit. Protože kde není žalobce, není ani soudce.

Dalším nebezpečím je, že zatímco negativní deepfaky si musí vystačit s již existujícími materiály napodobované osobnosti, v případě tvorby toho pozitivního může jeho předobraz sám poskytnout takové materiály, jaké tvůrce deepfaku potřebuje. Tím se ještě zvyšuje kvalita už tak propracovaného podvodu a opět klesají šance na jeho odhalení.

Pozitivní deepfaky tak skrývají velký mocenský potenciál. Nejde jen o předstírání nějaké schopnosti, ale také o změnu vlastní minulosti. Politici by díky deepfakům dokázali zpětně upravovat vlastní vystupování, aby odpovídalo současným trendům, přesně v duchu orwellovského hesla „kdo ovládá minulost, ovládá budoucnost“. Uživatel internetu už by si nemohl být jistý vůbec ničím, co by viděl, protože vše by se mohlo neustále měnit, minulost by se ohýbala podle požadavků dnešních dnů. Historie by přestala platit a pojem definitivní by zcela ztratil na významu. Dovedeno ještě o krok dál, deepfaky by mohly vymazat i samotnou smrt. Už před několika lety se v souvislosti s filmovými Hvězdnými válkami, ve kterých vystupovala počítačem vytvořená postava již mrtvého herce, objevila debata, zda je etické někoho digitálně oživovat, i kdyby jen pro účely zábavy. Deepfaky ale nabízejí možnost např. autoritářským režimům, jak ze svých vůdců učinit nejen neomylné (protože zpětně lze upravit vše, co řekli), ale také nesmrtelné vládce, kteří na své poddané promlouvají v mediálním světě ještě dlouho po svém skonu ve světě reálném. Takové situace se dosud objevovaly jen v dystopických dílech, deepfaky je ovšem mílovými kroky přenášejí do reality.

A konečně je tu ještě jeden problém. Tiwariho deepfake totiž vytvořila na zakázku reklamní agentura. Tím se z velmi nebezpečného typu manipulace stává tržní produkt. Mohlo by se snadno stát, že během několika málo let bude tvorba deepfaků představovat naprosto běžnou činnost PR společností, které s ní zaplaví veřejný prostor a tak de facto znemožní důvěru v jakékoliv instituce či osobnosti. Doba postpravdivá se stane skutečností, protože rozhodovat se nebudeme na základě pravdy, a dokonce už ani na základě toho, čemu věříme, ale jen a pouze na základě toho, o čem si záměrně vybereme, že tomu věřit chceme. A budeme tak činit s vědomím, že i toto se může kdykoliv změnit a že po této změně nikde nezůstane žádný důkaz. V takové chvíli u většiny občanů s největší pravděpodobností nastane totální rezignace na veřejné dění, protože demokratická společnost nemůže fungovat na základě absolutní nedůvěry. Pro mocenské skupiny se naopak deepfaky, mezi kterými je ten Tiwariho první vlaštovkou, stanou nejlepším nástrojem kontroly a manipulace. Protože jak říká George Orwell ve své knize 1984, „jestliže má někdo vládnout natrvalo, musí umět zvrátit smysl skutečnosti.“

Foto: Pixabay.com