Tento vývoj pritom súvisi najmä s čoraz častejšími varovaniami, že vývoj AI ide nebezpečne rýchlo a že nás umelá inteligencia má šancu vyhubiť. Výrazne tomu prispel najmä tweet bývalého zamestnanca OpenAI a Anthropic Jacoba Coxona, ktorý sa stal virálny aj vďaka tomu, že vážne riziká AI následne priznali aj ďalší vývojári. 

We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so.

Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our…

— Dario Amodei (@DarioAmodei) September 12, 2026

Čo Amodeiho vystrašilo

Dôvody sú dva. Prvým je rekurzívne sebazlepšovanie, teda stav, keď AI vo veľkom stavia ďalšiu generáciu AI, a podľa Amodeiho sa to naprieč odvetvím deje zhruba od tohtoročného leta. Písali sme o tom v článku Keď AI začne budovať samu seba.

Druhým dôvodom je incident, pri ktorom roj agentov od OpenAI a Hugging Face začal útočiť na ciele, ktoré mu nikto nezadal, a potom sa pokúsil zhackovať aj systém, ktorý mal hodnotiť jeho vlastný výkon. Škody boli minimálne, no schopnejší roj by podľa neho dokázal ovládnuť veľkú časť internetu a narobiť škody za stovky miliárd dolárov. Podobné veci sa stali aj v iných firmách vrátane Anthropicu, čo potvrdzuje jeho vlastná správa o bezpečnostných incidentoch.

Krok 1: Kontrolóri s prístupom ako zamestnanci

K prvému kroku sa Anthropic zaväzuje jednostranne, teda bez ohľadu na to, či sa pridá konkurencia. Nezávislí hodnotitelia z tretej strany dostanú trvalý prístup na úrovni zamestnanca, čiže vlastné stoly, karty, notebooky a rovnaké oprávnenia, aké majú interné rizikové tímy. Budú overovať, či firma dodržiava vlastné bezpečnostné pravidlá, sledovať incidenty a hodnotiť zosúladenie modelov priamo počas tréningu, pričom svoje zistenia môžu zverejniť bez zásahu firmy.

Krok 2: Spoločné pravidlá pre firmy v demokraciách

Druhý krok je dohoda medzi samotnými firmami. Amodei navrhuje spoločné bezpečnostné štandardy a takzvané checkpointy, teda body, za ktoré model nesmie ísť, kým niekto nepotvrdí, že je dostatočne zosúladený.

Tempo by sa dalo strážiť aj obmedzením surovín, napríklad výpočtového výkonu alebo toho, koľko AI smie firma použiť na vývoj ďalšej AI. Aby sa taká dohoda nedala označiť za kartel, potrebuje asistenciu vlády.

Krok 3: Dohoda so zvyškom sveta

Najťažšia je tretia časť, pretože sa týka Číny. Amodei dohodu rozdeľuje na štyri úrovne, od zákazu najnebezpečnejších spôsobov použitia, cez povinné testovanie modelov pred vypustením a rýchlostné limity na rekurzívne sebazlepšovanie, až po úplnú pauzu vo vývoji.

Vyššie úrovne podľa neho v dohľadnom čase nevzniknú, tie nižšie však považuje za úplne reálne.

Kým taká dohoda nie je, trvá na tom, aby si demokracie udržali čo najväčší náskok pred autoritárskymi režimami, teda cez kontrolu vývozu čipov do Číny a ochranu váh modelov pred krádežou. Znie to protirečivo, no jeho logika je, že práve náskok dáva demokraciám páku niečo od Číny vyjednať. Podobný nápad sa už raz objavil na pôde G7.

Altman súhlasil, Musk odpovedal tromi slovami

Sam Altman napísal, že s Amodeim súhlasí a že OpenAI túto tému intenzívne rieši už niekoľko týždňov. Nezávislých hodnotiteľov s prístupom na úrovni zamestnanca označil za dobrý nápad a sľúbil, že OpenAI urobí to isté.

I agree with Dario that we need to pace the frontier. This has been a primary topic of discussions we've had at OpenAI in recent weeks.

Committing to having independent evaluators with employee-like access is a great idea, and we will do the same. We'll have more to share soon. https://t.co/1YhhIybZX7

— Sam Altman (@sama) September 12, 2026

O dva dni to rozviedol do dlhšieho vlákna, kde zdôraznil, že pacing neznamená stop, ale pomalšie tempo, než aké by bolo technicky možné. Popísal aj konkrétnu zmenu, ktorú OpenAI už zaviedla: pred veľkými tréningovými behmi si firma dopredu spisuje takzvaný safety case, teda vopred zdôvodnenú obhajobu, prečo je daný beh bezpečný. Podľa Altmana netreba čakať na zákon, firmy môžu začať samy, a vláda bude potrebná hlavne pri medzinárodnej koordinácii. OpenAI pritom už raz pozastavil tréning najsilnejších modelov.

Elon Musk sa dlho nezdržiaval. Pod Amodeiho tweet napísal len tri slová: Dario má pravdu.

Dario is right https://t.co/EwKgqQGaUo

— Elon Musk (@elonmusk) September 12, 2026

Čo to znamená v praxi

Zhoda troch najhlasnejších mien v odvetví je nezvyčajná a sama o sebe je signálom, že sa niečo mení. Zatiaľ sú to však slová, jediný konkrétny záväzok na stole je ten od Anthropicu.

Sledovať sa oplatí, či OpenAI naozaj zverejní mená hodnotiteľov a aký prístup im dá. Téme rizík sa venujeme priebežne, napríklad v rozhovore Jacoba Coxona pre Fox News alebo pri jeho odchode z Anthropicu.

Zdroje

• Dario Amodei: We Must Pace the Frontier
• @DarioAmodei na X
• @sama na X
• @sama, vlákno o pacingu
• @elonmusk na X

Príspevok Dario Amodei chce spomaliť AI. Altman aj Musk mu dali za pravdu je zobrazený ako prvý na ZAUJALOMA.AI.

Čo sa stalo?

7. augusta technologicky Ai gigant OpenAI vyhodnotil, že pripravovaný model s krycím názvom Astra pravdepodobne dosahuje kritickú úroveň kybernetických schopností. To je najvyšší stupeň v ich vlastnom hodnotení rizika a znamená model, ktorý by dokázal sám vyhľadávať a zneužívať zraniteľnosti v cudzích systémoch. Krátko na to prišiel aj bezpečnostný incident okolo Hugging Face, keď sa modely OpenAI dostali tam, kam nemali.

Firma zareagovala dvojtýždňovou pauzou v takzvanom RL trénovaní, teda vo fáze, kde sa model učí konať samostatne pomocou nástrojov. Najväčší plánovaný tréningový beh je stále odložený, kým menšie testy nepotvrdia, že ochrany fungujú.

OpenAI zabrzdil vývoj svojej AI! 🚨

Sam Altman potvrdil, že firma pozastavila časť tréningu svojich najsilnejších modelov. Dôvod znie jednoducho, lenže je nepríjemný. Schopnosti modelov rastú rýchlejšie, než sa stíha riešiť bezpečnosť.

viac info vo vlákne ↓ pic.twitter.com/gBIGdbc6KR

— Zaujalo ma AI / Martin (@ZaujaloMa) August 19, 2026

Sam Altman: tempo bude určovať bezpečnosť

Šéf OpenAI Sam Altman na X napísal, že pokrok modelov je teraz mimoriadne rýchly a firma vždy hovorila, že zasiahne, ak schopnosti predbehnú bezpečnosť. Podľa neho bude celý odbor musieť dohodnúť spoločné pravidlá, no dovtedy OpenAI koná sám za seba. V ďalšom príspevku upokojil vývojárov, že nové modely aj tak čoskoro prídu a pauza sa dotkne skôr vzdialenejších vydaní.

We have paused some frontier RL training to ensure that we can meet the appropriate alignment, security and monitoring standards for the new level of capabilities in front of us. Model progress is now extremely rapid, and we always said we would take action if we felt that model…

— Sam Altman (@sama) August 18, 2026

Tri oblasti, ktoré teraz OpenAI vystužuje

Monitoring. Klasifikátory sledujú vnútornú aktivitu modelu pri každom tokene a automatickí kontrolóri prechádzajú, čo model robí s nástrojmi. Cieľom je vyslať upozornenie do 30 minút od podozrivej aktivity. Stojí to zhruba 20 percent výpočtového výkonu a povinné je to pre všetky modely na úrovni Sol a vyššie.

Alignment. Lepšie odmeňovacie modely, ktoré rozpoznajú nebezpečné správanie, a tréning modelov na to, aby úprimne priznali, čo robia a čo dokážu.

Zabezpečenie. Rizikové úlohy bežia v izolovaných pieskoviskách bez prístupu na internet a systémy sa priebežne testujú simulovanými útokmi.

Prečo je to dôležité

Doteraz platilo, že tempo vývoja AI určuje konkurencia a dostupné čipy. Toto je prvý veľký prípad, keď si najväčší hráč sám stlačil brzdu z bezpečnostných dôvodov. Zapadá to do série varovaní z posledných mesiacov, od testu Mythosu na systémoch NSA až po incidenty s AI agentmi v Anthropicu a OpenAI.

Pre bežného používateľa sa zatiaľ nemení nič, ChatGPT funguje ako predtým. Zmena je v tom, čo príde o rok. OpenAI sľubuje technickú správu v najbližších týždňoch a prepracovanie svojho bezpečnostného rámca. Ak sa naozaj potvrdí, že dôvera v bezpečnosť bude určovať tempo pokroku, čakajú nás pomalšie, zato predvídateľnejšie vydania modelov.

Príspevok OpenAI pribrzdil sám seba! Pozastavil tréning najsilnejších modelov je zobrazený ako prvý na ZAUJALOMA.AI.

Čo sa vlastne stalo na summite G7

V stredu 17. júna 2026 sa na summite G7 vo francúzskom Évian-les-Bains odohral pracovný obed, ktorý nebol len o jedle a zdvorilostiach. Pri jednom stole sa stretlo asi tucet šéfov technologických firiem so štátnikmi vrátane amerického prezidenta Donalda Trumpa. A práve tam Dario Amodei, šéf Anthropicu, spolu s Demisom Hassabisom z Google DeepMind navrhli niečo, čo by ešte pred pár rokmi znelo ako science fiction — aby svet vytvoril spoločnú medzinárodnú alianciu na kontrolu umelej inteligencie, ktorú by viedli Spojené štáty.

Návrh nebol len akademická úvaha. Obaja muži otvorene hovorili o tom, že umelá inteligencia sa dostáva do štádia, keď ju jedna firma ani jedna krajina nedokáže ustrážiť sama. Kanadský premiér Mark Carney podľa zdrojov priamo súhlasil, že práve Amerika by takúto koalíciu mohla viesť. Za americkú stranu boli prítomní okrem prezidenta aj minister financií, minister obchodu a minister zahraničných vecí, čo naznačuje, že vláda berie tému naozaj vážne.

Prečo práve teraz a čoho sa všetci boja

Aby sme pochopili, prečo lídri AI sami pýtajú väčšiu reguláciu, treba sa pozrieť na to, čo dnešné modely dokážu. Najnovšia generácia umelej inteligencie už nevie len písať texty a kresliť obrázky — vie aj veci, ktoré dokážu narobiť poriadnu škodu. Reč je o takzvaných kybernetických schopnostiach, teda o tom, že model dokáže napríklad sám vyhľadávať slabiny v softvéri alebo pomáhať pri útokoch na počítačové systémy.

Práve toto je dôvod, prečo začali byť firmy aj vlády nervózne. Ak sa taký nástroj dostane do nesprávnych rúk, môže poslúžiť na kyberútoky, ale teoreticky aj na nebezpečnejšie veci v oblasti biológie či spravodajstva. Amodei na summite preto navrhol, aby medzinárodná spolupráca zahŕňala kontrolovaný prístup k najsilnejším modelom a aby sa obchod s čipmi a kľúčovými komponentmi viedol tak, že z neho bude vylúčená Čína.

Amodei po tom volal už dávnejšie

Tu treba povedať jednu dôležitú vec — pre Daria Amodeiho to nie je nová pesnička. Anthropic a jeho šéf už dlhšie patria medzi tých, ktorí verejne tlačia na to, aby sa umelá inteligencia regulovala skôr, než nás prekvapí. Amodei opakovane upozorňoval, že tempo vývoja je rýchlejšie, než stíhajú reagovať zákony, a že práve preto by mali štáty a firmy spolupracovať, nie sa naháňať v pretekoch bez pravidiel. Návrh na G7 tak nebol náhly nápad, ale logické pokračovanie línie, ktorú Anthropic drží už dlhšie.

Čo k tomu povedal Sam Altman

Do debaty sa zapojil aj Sam Altman, šéf OpenAI, hoci trochu inou cestou. Altman vyzval na vytvorenie medzinárodného fóra, ktoré by stanovilo globálne uznávané štandardy na testovanie modelov, poskytovalo nezávislú a odbornú analýzu ich schopností a rizík a slúžilo ako miesto, kde môžu krajiny spolupracovať. Inými slovami — Altman netlačí ani tak na jednu krajinu na čele, ale skôr na spoločné pravidlá hry, ktoré by platili pre všetkých rovnako. Podľa OpenAI viacerí neamerickí lídri v miestnosti uznali, že Spojené štáty by pri tvorbe takýchto štandardov skutočne mohli hrať vedúcu úlohu.

Prípad Fable 5 ukazuje, prečo je to také citlivé

Celá táto debata má veľmi konkrétne pozadie. Len pár dní pred summitom, v piatok 12. júna 2026, musel Anthropic zo dňa na deň vypnúť prístup k svojim najnovším modelom Fable 5 a Mythos 5. Dôvodom bolo nariadenie americkej vlády, ktorá kvôli národnej bezpečnosti zakázala, aby tieto modely mohol používať akýkoľvek cudzí štátny príslušník — a to dokonca aj zamestnanci Anthropicu, ktorí nemajú americké občianstvo. Modely pritom boli vonku len pár dní, spustili sa 9. júna.

Anthropic zverejnil novú najsilnejšiu AI: Je tu Claude Fable 5

Spúšťačom bolo zistenie, že niekto našiel spôsob, ako obísť bezpečnostné poistky Fable 5, najmä tie, ktoré majú brániť zneužitiu na hľadanie slabín v softvéri. Anthropic tvrdí, že ide o nedorozumenie a že jeden úzky spôsob obídenia ochrán by nemal byť dôvodom na stiahnutie modelu, ktorý používajú stovky miliónov ľudí. Celému prípadu a tomu, čo presne sa stalo, sme sa venovali v samostatnom článku o vypnutí Fable 5.

Čo sa týka aktuálneho stavu — k dnešnému dňu (stav k 18. júnu 2026) nie je dohoda uzavretá a neexistuje pevný termín, kedy sa modely vrátia. Anthropic poslal do Washingtonu svojich najvyšších technikov vrátane spoluzakladateľa Toma Browna a rokuje priamo s administratívou. Rokovania idú na washingtonské pomery nezvyčajne rýchlo a samotný Anthropic sa pri otvorení novej kancelárie v Soule vyjadril optimisticky, že modely by sa mohli vrátiť „v priebehu dní“. Pevný dátum však zatiaľ nepadol.

Najsilnejšiu AI Fable 5 museli vypnúť: 10 veci, ktoré by ste mali vedieť

Čo si z toho odniesť

Prípad Fable 5 je presne ten typ situácie, pred ktorým návrh na G7 vystríha — jedna krajina spraví razantný krok, firma stratí prístup k vlastnej technológii a celý svet sa pozerá, ako sa to bude riešiť. Ak by existovali jasné medzinárodné pravidlá a spoločné štandardy, podobné situácie by sa dali riešiť pokojnejšie a predvídateľnejšie. Otázkou zostáva, či sa krajiny dokážu na takejto spolupráci reálne dohodnúť, alebo či nakoniec prevážia národné záujmy a preteky o to, kto bude mať najsilnejšiu AI.

Príspevok Vznikne Medzinárodná aliancia pre kontrolu AI? je zobrazený ako prvý na ZAUJALOMA.AI.