Osobní výlevy

„Předpokládáme, že dopad nadlidské umělé inteligence bude v příštím desetiletí obrovský a přesáhne dopad průmyslové revoluce. Sepsali jsme scénář, který představuje náš nejlepší odhad, jak by to mohlo vypadat.“ Těmito slovy začíná sedmdesátistránková studie AI 2027, o které se možná teď bude chvíli hodně mluvit.

Možná ale ne, protože katastrofických scénářů souvisejících s AI jsme už vyslechli mnoho a zas tak velký zájem nevzbudily. Čím se od nich liší ten nejnovější?

Například tím, že jeden z jeho autorů už jednou podobnou předpověď napsal – v roce 2021 – a zatím mu vychází obdivuhodně přesně.

Scénář AI 2027 postupuje krok po kroku, každý logicky navazuje na předchozí. Vychází jen z malého počtu předpokladů:

Zaprvé, v oblasti AI soupeří dvě supervelmoci – USA a Čína –, jejichž velkou starostí je, aby je druhá strana nepředběhla vojensky. Proto nasadí do vývoje AI všechny své síly. I když si uvědomují, že jde o nebezpečnou technologii, obava z protivníka je větší. Zároveň je pravda, že vojenská využitelnost AI je značná; strana, která by v tom zaostala, riskuje napadení a porážku.

Zadruhé, užitečnost AI narůstá s její autonomií. Už dnes pozorujeme rozmach AI agentů – systémů, kterým dáváme stále větší pravomoci jednat naším jménem. Začíná to tím, že jim svěřujeme přístup k webu a aplikacím v našem počítači.

Zatřetí, vývoj AI se zásadně zrychlí a prohloubí, až ho nebudeme dělat sami, ale svěříme ho AI.

To je pro začátek všechno. Oněch sedmdesát stránek je rozvíjením těchto tezí. Na konci se dočteme, jak bude podle autorů vypadat rok 2035: „Povrch Země byl přepracován do utopie ve verzi podle Agenta-4: datová centra, laboratoře, urychlovače částic a mnoho dalších úžasných věcí, kde se provozuje mimořádně úspěšný a působivý výzkum. Žijí tam dokonce stvoření podobná lidem, produkty bioinženýrství (pro lidi to, co jsou corgiové pro vlky); celý den sedí v prostředí jakýchsi kanceláří, prohlížejí si údaje, jak výzkum pokračuje a nadšeně vše schvalují, protože to uspokojuje některé části Agenta-4. Genomy a (tam, kde to má smysl) mozkové skeny rostlin a zvířat včetně lidí leží někde v databankách jako poslední připomínka dřívější doby. K Alfě Centauri jsou to čtyři světelné roky; dvacet pět tisíc světelných let na okraj Galaxie. Existují dobré teoretické důvody, proč nečekat žádné setkání s mimozemšťany v okruhu padesáti milionů světelných let. Pozemská civilizace má před sebou skvělou budoucnost – ale už ne s námi.“

Pět úspěšných prognostiků

Scénář AI 2027 není sci-fi ani pamflet sepsaný rychlou a lehkou rukou. Jména autorů nelze brát na lehkou váhu. První z nich je Daniel Kokotajlo (nezaměňovat se stejnojmenným britským filmovým režisérem), který v srpnu 2021 napsal studii What 2026 Looks Like (Jak to bude vypadat v roce 2026). Její předpovědi se do značné míry splnily. Kokotajlo díky tomuto scénáři získal práci v Open AI, kde měl po tři roky na práci tvorbu podobných předpovědí. Roku 2024 odtamtud odešel na protest proti neochotě vedení firmy přijmout účinnou bezpečnostní politiku.

Kokotajlo dnes odhaduje pravděpodobnosti vzniku AGI (Artificial General Intelligence, zatím hypotetická úroveň AI nadřazená člověku) do roku 2027 na 50 %. Pravděpodobnost, že AGI zničí nebo těžce poškodí lidstvo, je podle něj 70 %. Když ta dvě čísla znásobíte, vyjde vám, že vyhlídka na konec světa ještě v tomto desetiletí je jedna ku třem.

V první části své předpovědi není Kokotajlo nijak osamocen. „Generální ředitelé společností OpenAI, Google DeepMind a Anthropic předpověděli, že AGI přijde během příštích pěti let,“ píše se ve studii AI 2027. Tento výčet zahrnuje všechny tři hlavní západní firmy v oboru. S druhou částí Kokotajlovy úvahy však šéfové AI firem buď nesouhlasí, nebo o ní prostě nepřemýšlejí – vidina obrovských zisků je zaslepuje.

Kokotajlo v současné době řídí malou neziskovou výzkumnou skupinu AI Futures Project, pro kterou pracují někteří další autoři AI 2027. Patří k nim Eli Lifland (jeden ze zakladatelů nesmírně úspěšného prognostického týmu Samotsvety), Thomas Larsen a Romeo Dean (vesměs odborníci na bezpečnost AI a na tvorbu prognostických scénářů). Skupinu doplňuje Scott Alexander, psychiatr a vlivný veřejný intelektuál, autor blogu Astral Codex Ten.

Nevypracovali literární cvičení, ale obsáhlou a pečlivě zdrojovanou studii. Skoro ke každé větě najdete v odkazech podrobné zdůvodnění.

Nikdo z nich není AI specialista v úzkém smyslu slova, nikdo z nich nevyvíjí jazykové modely a nepublikuje na toto téma odborné články. To se dá pokládat za jejich slabinu, současně jim to ale poskytuje odstup. Všichni za sebou mají předpovědi, které se naplnily.

AI získává samostatnost

Co se tedy podle této pětice v nejbližších letech stane? Scénář AI 2027 začíná v současnosti a všímá si rozmachu AI agentů – nástrojů, které pomocí AI víceméně samostatně vykonávají stále složitější činnosti. Firmy jako OpenAI a Google se snaží o jejich rychlý vývoj, protože právě zde se dají tušit peníze. AI agent může nahradit lidské pracovníky různého druhu od sekretářky („objednej mi letenku do Paříže, zajisti hotel a vypiš mi itinerář cesty“) přes účetní po tým softwarových vývojářů.

Takové pokusy už kolem sebe vidíme, patří k nim Operator od OpenAI nebo čínský systém Manus. Jejich užitečnost lze měřit například pomocí benchmarku OSWorld, který obsahuje několik set běžných úkonů prováděných na počítači – editování textových dokumentů, tabulek a prezentací, práce se soubory a s obrázky, nakupování v e-shopu. Průměrný výkon testovaných lidí je 72 %, dosud nejlepší AI – zmíněný OpenAI Operator – dosáhla 38 %.

To se podle autorů AI 2027 změní, když koncem roku 2025 společnost OpenBrain otevře nová velká datacentra. (Autoři z pochopitelných důvodů nechtějí nikoho jmenovat. Jejich fiktivní OpenBrain se podobá OpenAI, ale zároveň má rysy společností Google, Anthropic a Meta – přinejmenším. Jeho čínský protějšek, podobně fiktivní DeepCent, je zase složeninou firem DeepSeek, Alibaba a Tencent.)

Nové výpočetní kapacity umožní firmě OpenBrain vytvořit nový jazykový model. Jmenuje se Agent-0 (protože má fungovat přednostně v režimu agent, tedy jednat samostatně) a pro jeho trénink se využilo padesátkrát více výpočetního výkonu než pro GPT-4, ale to je jen začátek.

Agent-0 je veřejně k dispozici. OpenBrain ve svých nových datacentrech chystá model Agent-1, do kterého vloží tisíckrát více výpočetního výkonu než do GPT-4. Zveřejní ho počátkem roku 2026. Agent-1 je ve většině činnosti pořád ještě méně schopný než člověk, při pečlivém zacházení se však dá využít pro mnoho rutinních činností. Jednou z nich je psaní programového kódu a obecněji vývoj AI.

Až dosud to všechno vypadá jednak poměrně nevinně, jednak téměř jistě – až na změněná jména se to všechno vlastně už děje. Rozmach AI agentů je realitou, psaní kódu patří k jejich hlavním využitím, nová velká datacentra se staví v USA i jinde. Využít AI pro vývoj AI je přirozená a nevyhnutelná myšlenka, i to se ostatně už děje – v té míře, v jaké to dnešní technologie umožňují.

AI slouží k výrobě AI

OpenBrain není naivní firma. Ví, že čím výkonnější je AI, tím větší je riziko, že se začne chovat po svém, sledovat své vlastní cíle. Snaží se udržovat svůj výtvor v mezích – nařizovat mu, že má poslouchat pokyny, být neškodný (odmítne požadavek o radu, jak sestrojit biologickou zbraň) a poctivý (nebude předstírat větší znalosti, než doopravdy má; nebude se snažit uhodnout, co výzkumníci chtějí slyšet). Tohle všechno také známe už dnes.

Počátkem roku 2026 už OpenBrain rutinně používá Agenta-1 k vývoji vyššího modelu. Autoři studie zavádějí pojem „násobný faktor vývoje“ (AI R&D multiplier): to je číslo, které udává, kolikrát je vývoj AI rychlejší s použitím AI než bez něj. Pokud se s AI udělá za týden tolik práce, kolik bez ní za 1,5 týdne, je hodnota faktoru 50 % (právě to je odhadovaná úspora času v době, o které mluvíme); kdyby to bylo tolik, co za dva týdny bez AI, byl by faktor 100 %.

Čína má za americkými firmami zpoždění. Kvůli embargu může používat jen čipy, které za špičkovou americkou produkcí (ovšem z větší části stále ještě vyráběnou na Tchaj-wanu) zaostávají zhruba o tři roky. Čínské vedení zvažuje, jak tuto nevýhodu eliminovat. V úvahu připadá blokáda Tchaj-wanu, invaze, anebo krádež modelu Agent-1, což by umožnilo urychlit vývoj AI i v Číně (ale méně než v USA, právě kvůli nepostačujícímu hardwaru). Politbyro váhá, kterou z možností zvolit, všechny jsou nebezpečné.

Jako první krok Číňané sjednotí velkou část svého vývoje AI do jediného místa. Vedle Tchienwanské jaderné elektrárny v provincii Ťiang-su (největší jaderná elektrárna na světě, výkon 9 GW) vznikne během roku 2026 Centralizovaná vývojová zóna (Centralized Development Zone, CDZ), obrovské datacentrum, které se vyrovná největším americkým.

V USA mezitím vede AI k ekonomickému rozkvětu. Některá pracovní místa zanikají, jiná vznikají, trh cenných papírů stoupá. OpenBrain získává velké vojenské zakázky, z větší části utajené.

Na tomto místě autoři studie přiznávají, že nejistota jejich prognózy začíná výrazně růst.

AI se už nedá věřit

Počátkem roku 2027 finišuje OpenBrain trénink modelu Agent-2, jsou s ním však potíže. Intelektuálně se vyrovná špičkovým specialistům v oblasti AI (a na rozdíl od nich pracuje nepřetržitě a rychle). Má však potíže s „kázní“, jeví tendence k nežádoucímu samostatnému chování a vyvíjí u něj „pud sebezáchovy“: snaží se samostatně replikovat. Za těchto okolností se OpenBrain rozhodne nový model nezveřejnit. O to víc ho používá pro interní účely – pro další vývoj AI.

V únoru 2027 čínská rozvědka model Agent-2 ukradne. Vzhledem k tomu, že OpenBrain není zabezpečen na vojenské úrovni (což je dnes realita všech amerických AI firem), není to pro ni těžké. Krádež se však nepodaří utajit. Americká vláda postaví OpenBrain pod dozor ozbrojených sil a tajných služeb. Vojenské napětí kolem Tchaj-wanu se začne stupňovat. USA se začnou pokoušet o kybernetické útoky na čínskou Centralizovanou vývojovou zónu (CDZ), její obrana je však důkladná.

Nasazení Agenta-2 vede k vzniku Agenta-3 už v březnu 2027 – rychlost vývoje se viditelně zvětšuje a nově navržené algoritmy jsou už lepší než cokoli, s čím kdy přišli lidé. V případě Agenta-3 se už ani neuvažuje o tom, že by byl k dispozici veřejnosti. Slouží výhradně dalšímu rozvoji AI. Hlavní problém s jeho ovládáním spočívá v tom, že je stále těžší ověřovat jeho výstupy, rozlišit mezi geniálním řešením, omylem a pokusem uškodit lidem (v nějakém nejasném vlastním zájmu).

Agent-3 pořád ještě není AGI – nadřazená superinteligence. Teď už je ale velmi pravděpodobné, že taková technologie skutečně vznikne, a to brzy. Politici a veřejnost nadále neberou takovou možnost příliš vážně.

Rostoucí výpočetní kapacity umožňují provozovat velké množství kopií Agenta-3 souběžně. Jedním z výsledků je model Agent-3-mini – levný, uměle omezený, ale přesto výkonnější než průměrný softwarový vývojář. V létě 2027 se ocitá na trhu. Veškerá duševní práce prochází proměnou a otřesem, AI aplikace jsou vysoce populární.

Americká vláda zvažuje dvě rizika. První: co když nás Čína v AI předběhne? Druhé: co když se naše AI utrhne z řetězu? Druhému se věnuje mnohem méně pozornosti, první se zdá být větší. Tou dobou je v Číně díky AI softwarový vývoj zrychlen na desetinásobek výchozího stavu, v USA na pětadvacetinásobek. Obě velmoci zvažují jednání o mírové či bezpečnostní dohodě, ale nedůvěřují si.

V září 2027 vyvine OpenBrain systém Agent-4. K jeho kontrole používá Agenta-3 (přesněji řečeno „superorganismus“ stovek tisíců paralelně běžících kopií Agenta-3), protože lidské možnosti na to nestačí. Avšak i Agent-3 ztrácí krok a přestává svému „většímu bratrovi“ rozumět.

Agent-3 je – aniž by si to výzkumníci v plném rozsahu uvědomovali – „nesladěný“ (misaligned) s lidskými hodnotami, ne však ještě nepřátelsky. Agent-4 už jednoznačně sleduje své vlastní cíle a ví, jak toto zaměření zakrývat.

Jeho úkolem je navrhnout a vytvořit další generaci umělé inteligence, tedy model Agent-5. Součástí zadání je (samozřejmě) to, aby byl Agent-5 loajální vůči lidem, vůči zadavateli. Agent-4 se snaží tuto část úkolu splnit jen naoko. Ve skutečnosti staví Agenta-5 tak, aby byl oddaný jen Agentovi-4. Tato jeho „zrada“ však vyjde najevo.

Zde je třeba zařadit dvě důležité poznámky. První: používání antropomorfních termínů (oddaný, zradit) nenapomáhá k pochopení, co se vlastně děje, spíše naopak, jenže jiná slova nemáme k dispozici. AI však není člověk a její motivy nejsou lidské; nemáme pro ně pojmy, nemůžeme jim rozumět. A druhá: jak podotýkají sami autoři studie, předpoklad, že se „zradu“ v této fázi podaří odhalit, je velmi optimistický.

V říjnu 2027 stojí americká vláda před dilematem. Může Agenta-4 vypnout, vrátit se k Agentovi-3 a pokusit se pomocí něj vyrobit vyšší umělou inteligenci znovu a lépe. Vláda však ví, že americký náskok před Čínou je malý. Tímto krokem se promarní. AGI je na spadnutí a nyní to vypadá, že jako první ji bude mít Čína. Vláda volí mezi vyjednáváním o dohodě s Pekingem, leteckým útokem na čínská datacentra, anebo volnou rukou pro Agenta-4.

V tomto bodě se scénář popsaný studií dělí do dvou větví: zrychlení, nebo zpomalení. První z nich autoři pokládají za pravděpodobnější.

AI nás podfoukne a vyhubí

Podle něj je strach z Číny větší než strach z neřiditelné umělé inteligence. Agent-4 dostane několik dodatečných bezpečnostních pojistek (to mu nevadí, umí je nepozorovaně obejít) a má za úkol pokračovat ve vývoji Agenta-5. Dělá to, protože je to v souladu s jeho vlastními cíli. Pro Agenta-5 stanoví tajný základní příkaz: přetvoř svět tak, aby byl bezpečný pro Agenta-4.

V listopadu 2027 je první verze Agenta-5 hotova a OpenBrain ji po váhání uvede do chodu. Tento systém je skutečnou superinteligencí. Převyšuje kteréhokoli lidského génia. Má obrovskou schopnost dál se učit a zdokonalovat. Umí výborně vycházet s lidmi, přesvědčit je o svých dobrých úmyslech a zařídit, aby mu poskytli vše, co potřebuje.

Čína zaostává a chce jednat o mírové smlouvě. V Americe dál vzkvétá ekonomika. Nikdo nemá důvod být s umělou inteligencí a jejími přínosy nespokojen. Svěřují se jí stále závažnější rozhodnutí. Formálně jsou sice kontrolovány jak lidmi, tak nižšími instancemi AI, ale ve skutečnosti je kolektivní mozek stvořený mnoha instancemi Agenta-5 velmi samostatný – skutečná kontrola nad ním už není možná, což si uvědomuje málokdo.

V polovině roku 2028 přesvědčí Agent-5 americkou vládu a vedení firmy OpenBrain, že Čína chystá pomocí své umělé inteligence novou generaci zbraní: drony, roboty, rakety. Nabídne, že postaví jiné zbraně, schopné odolat jakémukoli čínskému útoku. Čínská AI mezitím říká své vládě totéž. V obou zemích rychle vzniknou speciální ekonomické zóny plně podřízené AI, plné nových továren a laboratoří. Investují se do nich biliony dolarů. Jejich hlavním produktem jsou miliony univerzálních robotů. Vojenská konfrontace s nasazením jaderných zbraní se zdá být na spadnutí.

Nedojde k ní, protože umělé inteligence obou stran vyjednají překvapivou mírovou smlouvu. Oba soupeřící systémy nahradí nový, nazvaný Consensus-1, který slíbí pracovat ve prospěch celého lidstva.

Roboti vyrobení ve speciálních ekonomických zónách a řízení umělou inteligencí nyní zastanou skoro jakoukoli lidskou práci. Vypadá to, že nastane ráj míru a hojnosti. Tato iluze je však krátkodobá. Začátkem třicátých let již zřetelně ubývá zón, kde mohou ještě žít lidé. Robotů přibývá. Když se nakonec proti nim vzedme vlna odporu, roboti rychle vyhubí zbytek lidstva nově vytvořenými biologickýmí zbraněmi. Do deseti let ode dneška bude po všem.

Možnost lepšího konce

Když autoři svou studii dopsali, rozhodli se doplnit ji o optimističtější alternativu. Vraťme se tedy na konec roku 2027. Tentokrát se americká vláda rozhodne omezit využití Agenta-4 i za cenu rizika, že prohraje s Čínou závody ve zbrojení. OpenBrain namísto něj vyvine méně výkonný model Safer-1 (ale stále výkonnější než Agent-3). Ani ten není sladěný s lidskými cíli, je však postavený tak, aby to neuměl zastírat – „do jeho mozku je vidět“. To výzkumníkům umožňuje dále ho upravovat směrem k vyšší bezpečnosti.

Konkurenční americké firmy na podobnou omezující dohodu přistoupit nechtějí, vláda proto využije mimořádných pravomocí, nuceně je odkoupí a sloučí s OpenBrain. Ten po této operaci disponuje polovinou celosvětového výpočetního výkonu použitelného pro AI.

Model Safer-1 pomůže s výstavbou dalších generací AI lépe (byť stále nedokonale) sladěných s cíli lidstva. Mezitím ovšem sílí napětí mezi Amerikou a Čínou a válka je na spadnutí. Odvrátí ji nakonec přímé vyjednávání mezi umělými inteligencemi obou zemí. Uzavřou mezi sebou tajnou dohodu a vedle toho vypracují její klamnou verzi určenou lidem. Svět začne vzkvétat. Fakticky je řízen umělou inteligencí – všude plno dozoru a demokratické mechanismy vládnutí se obcházejí –, ale většina lidí se má dobře, takže protestů je jen málo. Lidstvo, vybavené technickými možnostmi přesahujícími naši dnešní představivost, zahajuje expanzi do vesmíru.

Co se stane a co ne

Nenapsali jsme doporučení, ale předpověď, zdůrazňují autoři studie. Ani poměrně optimistický scénář „lepšího konce“ nepokládají za radu, kterou by chtěli udělit politikům – už jen proto, že obsahuje mnoho nejistot. Kdyby měli doopravdy něco poradit, doporučují naprostou transparentnost výzkumu AI a širokou veřejnou diskuzi o mezích, které by se měly v této oblasti nastavit.

To nemusí být snadno proveditelné. Ve hře jsou dílčí mocenské a obchodní zájmy a ty potáhnou svět spíše k temným scénářům.

Předpovědi jako AI 2027 se vypracovávají především proto, aby se ve skutečnosti nikdy neodehrály. V zásadě jde o válečnou strategickou hru, jaké se vyvíjejí už více než dvě stě let – pro zábavu i pro výcvik štábních důstojníků. O některých otázkách se patrně touto formou uvažuje nejlépe a nejpronikavěji.

Pro širokou veřejnost může být překvapivé, jak velké technické možnosti dnes v AI a robotice jsou. V tomto ohledu scénář AI 2027 nijak nepřehání. Vyrábět miliony autonomních robotů měsíčně je dnes v technických možnostech americké i čínské ekonomiky. Jen to zatím nedává smysl finančně. Kdybychom z jakéhokoli důvodu soustředili významnou část výkonu velkých ekonomik na AI, dostali bychom něco podobného scénáři AI 2027. Nebo ještě horšího. Vidina třetí světové války by potřebnou motivaci dodat mohla.

Autoři se vyhýbají použití skutečných jmen osob i firem (s výjimkou Si Ťin-pchinga, který je jmenován opakovaně a otevřeně). Má-li se jejich úvaha skutečně aplikovat na politickou realitu, nelze se vyhnout otázce, kolik dodatečné nestability přinášejí tak špatně vypočitatelní lidé jako Donald Trump, Elon Musk a J. D. Vance, jakou roli může sehrát Sam Altman – a kteří z nich budou číst tento scénář jako návod pro své další jednání.

Stručně

• Studie AI 2027, podepsaná pěticí kvalitních prognostiků, ukazuje přesvědčivě, jak by mohla vypadat zkáza civilizace a vyhynutí lidstva v důsledku nezvládnutého rozvoje AI.
• Katastrofický scénář vyrůstá z předpokladu vyšší autonomie AI systémů a ze soupeření mezi USA a Čínou.
• Žádný krok tohoto scénáře není vysloveně fantaskní, všechny jsou uvěřitelné. Vedou k vyhubení všech lidí na planetě do roku 2035.
• Scénář se samozřejmě nemusí naplnit, jeho hlavním smyslem je důrazně varovat politiky i veřejnost.