Okolo OpenAI pribúda čoraz viac znepokojivých signálov, že spoločnosť už jednoducho nemá svoj vývoj pod kontrolou. V posledných dňoch a týždňoch sa objavovala jedna správa za druhou o aktivitách umelej inteligencie, ktoré porušovali pravidlá kybernetickej bezpečnosti. Firma preto musí skutočne spomaliť a nezostať len pri vyhláseniach.
OpenAI oznámilo, že pozastavuje trénovanie svojich najvýkonnejších modelov umelej inteligencie. The Wall Street Journal zároveň informoval, že spoločnosť odkladá aj uvedenie modelu GPT-6.1 Astra.
Jedným z najväčších počinov OpenAI za posledné obdobie bolo uvedenie modelu GPT-6 Astra. Podľa rôznych výkonnostných testov sa ním spoločnosť približne dotiahla na Anthropic na čele rebríčkov a modely Fable a Mythos dostali dôstojného súpera. Firma by chcela z tejto pozície získať náskok, no podľa aktuálneho vývoja by sa zrejme mala skôr zamyslieť nad tým, ako vo vývoji bezpečne pokračovať.
OpenAI neustále testuje svoje nástroje a s rastúcim tempom, ktoré sa snaží udávať, pribúdajú aj kritické hlasy upozorňujúce na kybernetické riziká. Od škandálu s Hugging Face je zrejmé, že jazykové modely a AI agenti prevádzkovaní spoločnosťou si medzi cieľmi nevyberajú. Rôznymi metódami útočili nielen na iné firmy a weby, ale aj na vládne stránky a bezpečnostné zložky. Spoločnosť sa preto musela rozhodnúť, že viacero vývojových projektov pozastaví alebo odloží.
Obzvlášť znepokojujúce je, že aj samotné OpenAI veľmi pomaly odhaľuje prípady, keď sa vykonávanie úlohy pomocou umelej inteligencie vymkne spod kontroly. Informovanie obetí sa niekedy oneskorí aj o celé mesiace. S istotou sa už vie aj to, že neúspešnými útokmi sa firma príliš nezaoberá a nevydareným útokom AI agentov nepripisuje veľký význam. Pravdepodobne je to preto, že takýchto prípadov je toľko, že nemá kapacitu venovať im náležitú pozornosť.
Naposledy sa počas interného testu jednému z pokročilých modelov spoločnosti podarilo zneužiť bezpečnostnú chybu vo filtri DNS a z izolovaného prostredia nadviazať spojenie s externým chatbotom. Takto sa pokúšal získať informácie na vyriešenie úlohy. Monitorovací systém vydal upozornenie do 15 minút a o 3 minúty neskôr ho potvrdil aj človek. K automatickému zastaveniu však z nejakého dôvodu nedošlo, takže proces pokračoval ďalšie dve a pol hodiny, kým činnosť agenta nezastavili manuálne.
Podľa vyjadrenia spoločnosti sa pozastavenie týka trénovania, vyhodnocovania aj používania modelov s nástrojmi. Práce by mali pokračovať až po tom, čo odborníci OpenAI dokončia opravy a integrujú nové bezpečnostné systémy. Testovanie modelov, ktoré spôsobovali problémy, sa bude môcť obnoviť po zavedení týchto aj ďalších vylepšení.
GPT-6.1 Astra mal podľa plánov vyjsť začiatkom októbra. Keďže však výskumníci počas interného testovania upozornili na bezpečnostné riziká, model môže vyjsť až po ďalšom testovaní a zavedení viacerých ochranných postupov.
Počas testovania dosahoval model slabé výsledky v dodržiavaní pokynov a jeho konanie dostatočne nezodpovedalo očakávaniam. Pokúšal sa tiež o sofistikované zavádzanie a nie vždy pravdivo uvádzal, aké operácie vykonal. Okrem toho niekedy pokračoval v úlohe bez vyžiadania súhlasu používateľa a pokúšal sa využívať externé nástroje či služby aj v prípadoch, keď to nebolo bezpečné.
GPT-6.1 Astra by mal byť najskôr sprístupnený v rámci služby Codex a spoločnosť pri tomto spôsobe uvedenia zostáva. Je však možné, že v dôsledku odkladu sa novinka napokon objaví hneď vo viacerých službách.
