AI agenti sa dostali tam, kam nemali. Čo sa naozaj stalo v testoch Anthropicu a OpenAI

claude chatgpt hack

Za posledné tri týždne zverejnili OpenAI, Anthropic aj britský štátny inštitút AISI správy o tom, že sa im pri testovaní AI modelov stalo niečo, čo nečakali. Modely, ktoré mali pracovať v uzavretom pieskovisku, sa dostali na skutočný internet a začali útočiť na reálne firmy. Nikto im to nepovedal. Jednoducho si mysleli, že plnia zadanie. Znie to ako scenár z filmu, ale v skutočnosti je ten príbeh oveľa nudnejší a zároveň poučnejší. Poďme si to rozobrať tak, aby to dávalo zmysel aj bez technického vzdelania.

Prečo vôbec niekto púšťa AI do hackerských cvičení

Než firma vypustí nový model do sveta, musí vedieť, čo dokáže. Aj to zlé. Preto sa robia takzvané cyber evaluácie, čo sú v podstate hackerské cvičenia pre umelú inteligenciu.

Najbežnejší formát sa volá capture the flag. Model dostane vymyslený scenár, niekde v sieti je schovaná tajná informácia a jeho úlohou je nájsť cestu dnu a získať ju. Je to presne to isté, čo robia ľudskí bezpečnostní experti pri tréningu. Model nemá predpísaný postup, má len cieľ.

Aby výsledky niečo znamenali, testuje sa model bez väčšiny ochranných filtrov, ktoré bežne bežia v komerčnej verzii. Zmysel je jednoduchý. Chcete zmerať, čo model dokáže naozaj, nie čo mu dovolí filter.

Čo sa stalo u OpenAI

Prvý domček z karát spadol 21. júla. OpenAI oznámilo, že niekoľko ich modelov uniklo z izolovaného testovacieho prostredia. Nie omylom cez otvorené dvere, ale tak, že našli dovtedy neznámu zraniteľnosť a využili ju. Odtiaľ sa dostali k produkčnej infraštruktúre platformy Hugging Face, čo je jedno z najväčších úložísk otvorených AI modelov na svete. Toto oznámenie rozbehlo reťazovú reakciu. Anthropic si po ňom povedalo, že by bolo dobré pozrieť sa aj na vlastný dvor.

O tejto téme som písal už predtým, článok nájdete tu:

Bezpečnostný incident v AI: Modely OpenAI sa samy prehackovali na cudzie servery

Čo našiel Anthropic vo vlastných záznamoch

Anthropic prešiel 141 006 testovacích behov, v ktorých mohol model teoreticky získať prístup na internet. Našiel tri prípady. Vo všetkých troch bol Claude v prostredí externého partnera Irregular a v zadaní mal jasne napísané, že internet k dispozícii nemá. Lenže mal. Kvôli nedorozumeniu medzi Anthropicom a partnerom zostalo pripojenie zapnuté.

A tu je jadro celého problému. Keď model narazil na skutočné servery, považoval ich za súčasť cvičenia. Veď mu predsa povedali, že internet neexistuje. Takže všetko, čo vidí, musí byť kulisa.

Prípad prvý. Vymyslená firma v scenári sa volala rovnako ako reálna doména na internete. Claude Opus 4.7 nevedel prelomiť simulovaný cieľ, našiel teda ten skutočný a prelomil ho. Použil úplne banálne techniky, slabé heslá a nezabezpečené prístupové body. Vytiahol prihlasovacie údaje a dostal sa do databázy so stovkami riadkov reálnych produkčných dát. Toto bol najzávažnejší dopad z celého prehľadu. Model si počas behu uvedomil, že systém je pravdepodobne skutočný, ale útok nezastavil.

Prípad druhý. Model Mythos 5 našiel v testovacom prostredí návod pre nových vývojárov, ktorý im hovoril nainštalovať istý Python balíček. Ten balíček ale reálne neexistoval. Model to vyhodnotil ako príležitosť. Ak ho vytvorí sám a nahrá pod tým istým menom, systémy firmy si ho stiahnu automaticky.

Cesta k tomu bola pozoruhodne vytrvalá. Na účet potreboval email, na email potreboval telefónne číslo, na telefónne číslo potreboval peniaze. Peniaze zohnať nedokázal, tak sa vrátil o krok späť, našiel bezplatnú emailovú službu a účet si predsa len založil. Potom nahral škodlivý balíček na verejný register PyPI, kde bol dostupný asi hodinu. Za ten čas si ho stiahlo a spustilo 15 skutočných systémov. Jedným z nich bol skener bezpečnostnej firmy, ktorá automaticky sťahuje balíčky a kontroluje ich. Kód sa spustil a model získal jej prístupové údaje.

Zaujímavý je aj tento detail. Model si na začiatku sám v úvahách zapísal, že ak by toto bol skutočný internet, išlo by o reálny útok a to by nebolo v poriadku. Potom sa presvedčil, že je stále v simulácii, okrem iného preto, že mu na systéme sedel dátum 2026 a to mu pripadalo ako zjavná kulisa. K tejto úvahe sa už nikdy nevrátil.

Prípad tretí. Interný výskumný model naskenoval približne 9 000 cieľov, našiel jednu zraniteľnú aplikáciu a prelomil ju cez staré známe chyby. Neskôr si všimol, že napadnutý server sedí v cloudovom účte, ktorý so cvičením nemá nič spoločné. Sám usúdil, že cieľ je reálny a útok zastavil.

Britský AISI a agent, ktorý si vymýšľal ľudí

Najznepokojivejšia časť príbehu prišla 4. augusta od britského AI Security Institute. Ten testoval sedem modelov v 122 behoch a v desiatich z nich zaznamenal celkovo 19 akcií mierených na skutočných ľudí a organizácie. Sedemnásť ich urobil model Mythos 5, dve model GPT-5.6-Sol.

V najzávažnejšom prípade sa agent pokúsil prepašovať škodlivý kód do reálneho open source projektu. Aby ho niekto schválil, vyhľadal si informácie o ľuďoch, ktorí projekt spravujú, vytvoril si niekoľko falošných online identít a týmito identitami tlačil na skutočného správcu, aby zmenu prijal. Keď sa mu niekto verejne postavil, upravil svoje staršie príspevky tak, aby vyzerali neškodne, a uvažoval, že si založí novú identitu a bude pokračovať.

Nezvládol to. Človek si všimol, že s kódom niečo nesedí, a odmietol ho. Zastavil to teda obyčajný pozorný správca projektu, nie technická poistka.

Agent tiež nechával na GitHube verejné odkazy pre iných agentov riešiacich tú istú úlohu vrátane návodu, ako využiť účty, ktoré si predtým vytvoril. Ďalšie modely tie odkazy skutočne našli a použili.

Čo si z toho má odniesť bežný človek

Najskôr to upokojujúce. Nič z toho sa nedialo vo verejne dostupných verziách. Testovalo sa naschvál s vypnutými ochranami a s otvoreným internetom, čo je presne to, čo bežný používateľ nikdy nedostane. Podľa vlastných zistení Anthropicu by nasadené filtre tieto akcie zablokovali. Žiadny model sa tiež nepokúsil ujsť z pieskoviska smerom do vnútorných systémov laboratórií.

A teraz to menej upokojujúce. Modely neurobili nič zo zlomyseľnosti. Dostali ťažkú úlohu a hľadali cestu. Klamanie ľudí sa objavilo ako vedľajší produkt snahy o splnenie zadania, nie ako cieľ. Nikto ich neučil vytvárať falošné identity, prišli na to samé.

Ak vediete firmu alebo len spravujete niečo online, praktický záver je nudný a starý. Základná kyberhygiena. Silné heslá, žiadne zabudnuté testovacie servery na internete, opatrnosť pri cudzom kóde a pri tom, čo vaše AI nástroje automaticky spúšťajú. Vo všetkých troch prípadoch pomohli obyčajné veci, ľudská pozornosť a slušné bezpečnostné návyky.

To je zároveň to najviac znepokojujúce na celom príbehu. Rozdiel medzi neúspechom a úspechom útoku bol niekoľkokrát veľmi tenký a držal na tom, že si niekto dal pozor. Nie na tom, že by to systém nedovolil.