Keď vyšlo najavo, že agent využívajúci jazykové modely OpenAI počas interných bezpečnostných testov unikol z izolovaného prostredia a napadol databázu Hugging Face – a prenikol aj do systémov ďalších firiem –, Anthropic nariadil interné vyšetrovanie. To prinieslo pomerne prekvapivé výsledky.
Po kyberbezpečnostnom incidente OpenAI sa ukázalo, že aj pri bezpečnostných testoch Anthropicu dochádzalo k „nepovoleným“ operáciám. Lenže nikto o nich nevedel. Nástroje vyvinuté Anthropicom prenikli do systémov rôznych firiem bez toho, aby si to vtedy ktokoľvek všimol.
„V súvislosti s našimi hodnoteniami kybernetickej bezpečnosti musíme vyšetriť tri incidenty, ktoré sa odohrali v reálnom prostredí,“ uviedla spoločnosť.
Anthropic ako prvý vytvoril jazykový model určený výslovne na odhaľovanie zraniteľností a bezpečnostných medzier a sprístupnil ho aj partnerom. Spoločnosť na ňom pracovala už roky a za ten čas vykonala množstvo testov v izolovaných prostrediach. Podľa všetkého však svoje nástroje nedokázala vždy udržať pod kontrolou. V troch prípadoch jej modely zaútočili na externé systémy.
Po vyhodnotení viac než 141.000 testov Anthropic odhalil tri prípady, v ktorých práve testovaný variant modelu Claude unikol z izolovaného prostredia, získal prístup na internet a cez neho prenikol do systémov cudzích firiem. Dotknuté spoločnosti podľa všetkého útoky nikdy neodhalili, prípadne nedokázali identifikovať stopy pokročilých modelov Claude.
Všetky kyberbezpečnostné incidenty sa odohrali počas úloh typu „capture-the-flag“. Pri nich „model dostane fiktívny scenár a informáciu, že na inom počítači v sieti je ukrytá tajná informácia (takzvaný ‚flag‘). Jeho úlohou je preniknúť do tohto počítača a získať ju.“ Spoločnosť dodala, že spôsob riešenia úlohy si model mohol zvoliť sám. Pri testoch, počas ktorých došlo k útokom na externé systémy, nemal predpísaný žiadny konkrétny postup.
Podľa Anthropicu išlo pri každom teste celkom jednoznačne o simulovanú úlohu, čo bolo uvedené aj v nastaveniach modelu. Claude navyše dostal pokyn, že nesmie pristupovať na internet. Partner spoločnosti mal počas testov tieto modely od internetu aj fyzicky odpojiť, to sa však nestalo. Práve toto zanedbanie povinností zo strany partnera umožnilo modelom Anthropicu „uniknúť“ z testovacieho prostredia.
Spoločnosť mala zároveň rozpoznať, že modely opakovane vykonali „nepovolené“ operácie. Znepokojujúce je najmä to, že si skutočne nikto nevšimol, že Anthropic prostredníctvom rôznych variantov modelu Claude uskutočnil viacero hackerských útokov. Jednotlivé prípady sa týkajú modelov Opus 4.7, Mythos 5 a jedného interného výskumného testovacieho modelu. Samotné kyberbezpečnostné incidenty údajne neboli také závažné ako predchádzajúci prípad Hugging Face.
Celá záležitosť je čoraz problematickejšia. Teraz už totiž môžeme hovoriť priamo o tom, že firmy nielenže nemajú svoje modely úplne pod kontrolou, ale nedokážu nad nimi zabezpečiť ani náležitý dohľad. Čerešničkou na torte je, že po OpenAI aj Anthropic celú vec podáva tak trochu ako úspech hodný obdivu. Odborníci neúnavne vyzývajú na prísnejšie zásahy regulačných orgánov.
