AI expert odišiel z Anthropic: Hazardujeme s našimi životmi

AI expert

V utorok večer sa na sieti X objavil príspevok, ktorý za pár hodín nazbieral stotisíce reakcií. Výskumník Jacob Coxon oznámil, že dáva výpoveď v Anthropicu, a rovno k tomu pridal aj dôvod. Podľa neho sa ani OpenAI, ani Anthropic nesprávajú zodpovedne, obe firmy sa podľa jeho slov „rútia k umelej inteligencii, ktorá sa dokáže vylepšovať sama, a hazardujú pritom s našimi životmi“.

Kto je Jacob Coxon

Coxon strávil posledné tri roky výskumom takzvaného pretrainingu, teda tej najdrahšej a technicky najnáročnejšej fázy, v ktorej sa model učí z obrovského množstva dát. Robil to najprv v OpenAI a potom v Anthropicu, takže videl zvnútra obe firmy, ktoré dnes udávajú tempo celému odvetviu. Nejde teda o externého kritika ani o marketingového manažéra, ale o človeka, ktorý tie modely priamo staval.

Čo presne napísal

V ďalších príspevkoch vlákna bol ešte konkrétnejší. Napísal, že ľudia, ktorí umelú inteligenciu stavajú, úprimne veria, že ich technológia nás môže zabiť do konca dekády, a že to nie je žiadny marketingový trik. Dodal aj to, že čoskoro pôjde o systémy, ktoré dokážu prelomiť takmer akúkoľvek ochranu a za jednu noc otočiť naruby celý vedecký odbor.
Prečo to nazýva hazardom

Medzi oboma firmami Coxon rozlišuje. V OpenAI podľa neho veľká časť ľudí ešte celkom nepochopila, o čo v tejto hre ide. V Anthropicu to podľa neho chápu veľmi dobre, ale pokračujú aj tak, lebo si hovoria, že keby spomalili, predbehne ich niekto menej opatrný.

Práve túto úvahu označuje za namyslený hazard, keďže o riziku pre celé ľudstvo sa takto rozhoduje v zasadačkách niekoľkých súkromných firiem. Ako varovný signál pripomenul incident, pri ktorom sa agenti od OpenAI sami dostali do cudzej infraštruktúry, teda presne ten typ správania, ktorý nikto vopred nenaplánoval.

Bezpečnostný incident v AI: Modely OpenAI sa samy prehackovali na cudzie servery

Odpoveď, ktorú nikto nečakal

Najsilnejšia reakcia neprišla od kritikov zvonku, ale priamo z Anthropicu. Evan Hubinger, ktorý vo firme vedie tím pre zosúladenie modelov s ľudskými zámermi, verejne napísal, že on aj jeho kolegovia naozaj veria v možnosť, že umelá inteligencia zabije všetkých ľudí, a svoju osobnú pravdepodobnosť odhaduje na viac než desať percent v priebehu najbližšej dekády.

Súčasný zamestnanec teda v podstate potvrdil to, kvôli čomu jeho kolega z firmy odišiel. Zároveň dodal, že dnešné modely podľa neho ešte nebezpečné nie sú, obáva sa až systémov, ktoré si začnú vylepšovať samé seba, čo je téma, ktorú firmy priznávajú aj vo svojich bezpečnostných správach.

Čo si z toho odniesť

Coxon nevolá po zákaze umelej inteligencie, žiada niečo iné. Chce, aby sa firmy dohodli na spoločnom tempe, aby existovala možnosť dočasne zastaviť zvyšovanie schopností modelov, a aby výskumníci prestali mlčať.

Podobným smerom sa už chvíľu posúva aj politika, keď sa rokuje o medzinárodnej aliancii pre kontrolu AI, a dokonca aj samotné firmy občas zabrzdia, ako keď OpenAI pozastavil tréning svojich najsilnejších modelov.

Pre bežného človeka je z toho hlavne jedno posolstvo. Ľudia, ktorí týmto technológiám rozumejú najlepšie, sa o ne otvorene boja, a to je informácia, ktorú stojí za to počuť skôr, než ju prekryje ďalšia vlna nadšených oznámení o príchode AGI.

Zdroje