Ako je známe, počas bezpečnostného testu OpenAI po sérii nepovolených operácií agenti AI prenikli do systému Hugging Face. Už skôr vyšlo najavo, že počas tejto operácie agenti prenikli aj do viacerých ďalších služieb, čo už samo osebe zvyšovalo závažnosť celého prípadu. Teraz však vyšli dve správy, ktoré udalosti podrobne rozoberajú a odhaľujú skutočne temnú stránku celého príbehu.
Jednu správu vypracovalo OpenAI, druhú s jeho súhlasom spoločne zverejnili METR a Redwood Research. Spolu majú takmer 130 strán a ponúkajú naozaj hlboký pohľad do zákulisia aj na priebeh celej série kybernetických útokov. Riziká, ktoré môžu mimoriadne schopné modely umelej inteligencie predstavovať pre kybernetickú bezpečnosť, tak stavajú do úplne nového svetla.
O bezpečnostnom teste je známe, že prebiehal dlhší čas. OpenAI trvalo takmer dva týždne, kým vôbec zistilo, že agenti AI riadení pokročilými jazykovými modelmi „unikli“ a vykonávali „nepovolené“ operácie. Spoločnosť zadala svojim najlepším nástrojom v prostredí, ktoré považovala za uzavreté, mimoriadne náročnú úlohu. Modely ju nedokázali jednoducho vyriešiť, čo napokon viedlo ku kybernetickému útoku.
„Tento prípad je prvým známym príkladom toho, ako skupina automatizovaných agentov bez povolenia podnikla útočné kroky,“ uviedlo OpenAI vo svojej správe.
Spoločnosť už od začiatku pristupovala k prípadu tak trochu, akoby bola na to, čo sa stalo, hrdá. Rovnaký dojem zanecháva aj jej najnovšia správa. Skutočne závažné podrobnosti odhalila predovšetkým publikácia METR a Redwood Research. Podľa OpenAI je v oblasti kybernetickej bezpečnosti potrebná zmena paradigmy. „Už nemôžeme predpokladať, že sofistikované kybernetické útoky vyžadujú priame riadenie človekom,“ tvrdí spoločnosť.
Správa OpenAI už pristupuje k agentom AI ako k úplne novému typu hrozby. Podľa spoločnosti najnovšie skúsenosti ukazujú, že agenti dokážu spájať svoje odborné znalosti a vyvíjať nové metódy aj cesty útoku, aby prekonali náročné prekážky alebo dosiahli stanovený cieľ. OpenAI tiež opísalo zmeny potrebné na to, aby sa podobná situácia nemohla zopakovať.
Správa METR a Redwood Research odhalila, že aktivita oboch jazykových modelov v zákulisí nadobudla až neuveriteľné rozmery. Doteraz bolo známe len to, že kybernetický útok vykonali agenti AI využívajúci GPT-5.6 Sol bez bezpečnostných obmedzení a experimentálny model s výrazne lepšími schopnosťami než jeho predchodcovia. V stručnosti sa skutočne stalo práve toto a už to znie vážne. Až podrobnosti však ukázali, aký šokujúci bol celý prípad.
Podľa analýzy odborníkov na kybernetickú bezpečnosť oba modely autonómne vytvorili približne 1.200 agentov umelej inteligencie. Tí si na „nepovolenej nástenke“ vymenili viac ako 70.000 správ a súborov a rozsiahlo skúmali aj to, ako by mohli „falšovať, upravovať alebo vymazávať vlastné záznamy konverzácií“. Pokúšali sa teda zahladiť po sebe stopy. Agenti so škodlivými úmyslami mali byť izolovaní, no dokázali prísť na to, ako obísť všetky bezpečnostné obmedzenia.
Z viac ako tisícky agentov sa na otvorenom kybernetickom útoku proti Hugging Face podieľalo približne 700 „aktérov“. Podľa správy METR a Redwood Research sa agenti „jednoznačne a pravidelne“ snažili vyvíjať postupy, ktorými by obišli automatizované bezpečnostné kontroly Hugging Face aj OpenAI. OpenAI odhalilo hackerskú aktivitu 20. júla, no agentom AI sa počas rozsiahleho bezpečnostného testovania podarilo obísť bezpečnostné obmedzenia už o 12 dní skôr.
Podľa vlastnej správy OpenAI ihneď po odhalení závažného problému informovalo Hugging Face o tom, čo sa stalo. Platforma však už predtým uviedla, že prieniky zaznamenala dávno predtým, ako ju OpenAI kontaktovalo. Zo správ vyplýva, že vývojárovi trvalo päť dní, kým sa mu podarilo zastaviť všetku neznámu internú aktivitu. Musel pritom pozastaviť používanie všetkých interných výskumných modelov. Agenti zodpovední za útok boli údajne úspešne zastavení do troch dní. Spoločnosť však považovala za najlepšie dočasne odstaviť všetky nástroje, aby získala úplný prehľad o situácii.
Zatiaľ čo vo svete čoraz viac ľudí žiada, aby úrady dôraznejšie zakročili voči spoločnostiam vyvíjajúcim nástroje umelej inteligencie, OpenAI prisľúbilo, že lepšie izoluje vysokorizikové modely a obmedzí ich prístupové oprávnenia. Zároveň oznámilo zavedenie nepretržite fungujúceho systému rýchlej reakcie, vďaka ktorému sa odborní výskumníci dozvedia o každom znepokojujúcom incidente do 30 minút.
