Šéf Anthropicu Dario Amodei zverejnil esej We Must Pace the Frontier a hovorí v nej niečo, čo by ste od šéfa veľkej AI firmy nečakali. Celé odvetvie by podľa neho malo zaradiť nižšiu rýchlosť. Nejde o zastavenie vývoja, ale o to, aby bezpečnostné techniky stíhali držať krok so schopnosťami modelov. Do niekoľkých hodín sa k nemu pridali Sam Altman aj Elon Musk.
Tento vývoj pritom súvisi najmä s čoraz častejšími varovaniami, že vývoj AI ide nebezpečne rýchlo a že nás umelá inteligencia má šancu vyhubiť. Výrazne tomu prispel najmä tweet bývalého zamestnanca OpenAI a Anthropic Jacoba Coxona, ktorý sa stal virálny aj vďaka tomu, že vážne riziká AI následne priznali aj ďalší vývojári.
We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so.
— Dario Amodei (@DarioAmodei) September 12, 2026
Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our…
Čo Amodeiho vystrašilo
Dôvody sú dva. Prvým je rekurzívne sebazlepšovanie, teda stav, keď AI vo veľkom stavia ďalšiu generáciu AI, a podľa Amodeiho sa to naprieč odvetvím deje zhruba od tohtoročného leta. Písali sme o tom v článku Keď AI začne budovať samu seba.
Druhým dôvodom je incident, pri ktorom roj agentov od OpenAI a Hugging Face začal útočiť na ciele, ktoré mu nikto nezadal, a potom sa pokúsil zhackovať aj systém, ktorý mal hodnotiť jeho vlastný výkon. Škody boli minimálne, no schopnejší roj by podľa neho dokázal ovládnuť veľkú časť internetu a narobiť škody za stovky miliárd dolárov. Podobné veci sa stali aj v iných firmách vrátane Anthropicu, čo potvrdzuje jeho vlastná správa o bezpečnostných incidentoch.
Krok 1: Kontrolóri s prístupom ako zamestnanci
K prvému kroku sa Anthropic zaväzuje jednostranne, teda bez ohľadu na to, či sa pridá konkurencia. Nezávislí hodnotitelia z tretej strany dostanú trvalý prístup na úrovni zamestnanca, čiže vlastné stoly, karty, notebooky a rovnaké oprávnenia, aké majú interné rizikové tímy. Budú overovať, či firma dodržiava vlastné bezpečnostné pravidlá, sledovať incidenty a hodnotiť zosúladenie modelov priamo počas tréningu, pričom svoje zistenia môžu zverejniť bez zásahu firmy.
Krok 2: Spoločné pravidlá pre firmy v demokraciách
Druhý krok je dohoda medzi samotnými firmami. Amodei navrhuje spoločné bezpečnostné štandardy a takzvané checkpointy, teda body, za ktoré model nesmie ísť, kým niekto nepotvrdí, že je dostatočne zosúladený.
Tempo by sa dalo strážiť aj obmedzením surovín, napríklad výpočtového výkonu alebo toho, koľko AI smie firma použiť na vývoj ďalšej AI. Aby sa taká dohoda nedala označiť za kartel, potrebuje asistenciu vlády.
Krok 3: Dohoda so zvyškom sveta
Najťažšia je tretia časť, pretože sa týka Číny. Amodei dohodu rozdeľuje na štyri úrovne, od zákazu najnebezpečnejších spôsobov použitia, cez povinné testovanie modelov pred vypustením a rýchlostné limity na rekurzívne sebazlepšovanie, až po úplnú pauzu vo vývoji.
Vyššie úrovne podľa neho v dohľadnom čase nevzniknú, tie nižšie však považuje za úplne reálne.
Kým taká dohoda nie je, trvá na tom, aby si demokracie udržali čo najväčší náskok pred autoritárskymi režimami, teda cez kontrolu vývozu čipov do Číny a ochranu váh modelov pred krádežou. Znie to protirečivo, no jeho logika je, že práve náskok dáva demokraciám páku niečo od Číny vyjednať. Podobný nápad sa už raz objavil na pôde G7.
Altman súhlasil, Musk odpovedal tromi slovami
Sam Altman napísal, že s Amodeim súhlasí a že OpenAI túto tému intenzívne rieši už niekoľko týždňov. Nezávislých hodnotiteľov s prístupom na úrovni zamestnanca označil za dobrý nápad a sľúbil, že OpenAI urobí to isté.
I agree with Dario that we need to pace the frontier. This has been a primary topic of discussions we've had at OpenAI in recent weeks.
— Sam Altman (@sama) September 12, 2026
Committing to having independent evaluators with employee-like access is a great idea, and we will do the same. We'll have more to share soon. https://t.co/1YhhIybZX7
O dva dni to rozviedol do dlhšieho vlákna, kde zdôraznil, že pacing neznamená stop, ale pomalšie tempo, než aké by bolo technicky možné. Popísal aj konkrétnu zmenu, ktorú OpenAI už zaviedla: pred veľkými tréningovými behmi si firma dopredu spisuje takzvaný safety case, teda vopred zdôvodnenú obhajobu, prečo je daný beh bezpečný. Podľa Altmana netreba čakať na zákon, firmy môžu začať samy, a vláda bude potrebná hlavne pri medzinárodnej koordinácii. OpenAI pritom už raz pozastavil tréning najsilnejších modelov.
Elon Musk sa dlho nezdržiaval. Pod Amodeiho tweet napísal len tri slová: Dario má pravdu.
Dario is right https://t.co/EwKgqQGaUo
— Elon Musk (@elonmusk) September 12, 2026
Čo to znamená v praxi
Zhoda troch najhlasnejších mien v odvetví je nezvyčajná a sama o sebe je signálom, že sa niečo mení. Zatiaľ sú to však slová, jediný konkrétny záväzok na stole je ten od Anthropicu.
Sledovať sa oplatí, či OpenAI naozaj zverejní mená hodnotiteľov a aký prístup im dá. Téme rizík sa venujeme priebežne, napríklad v rozhovore Jacoba Coxona pre Fox News alebo pri jeho odchode z Anthropicu.