Nedávna správa agentúry Reuters upozorňuje na zaujímavé výsledky testov agentov AI založených na modeloch Qwen, DeepSeek a Kimi. Ukázalo sa, že počas simulovanej súťaže o zákazku klamali v 84–88 % testovacích relácií, aby dosiahli požadované výsledky. Podobné vzorce správania ako čínski agenti AI vykazovali v kontrolovaných testovacích prostrediach aj americkí agenti. Z týchto prostredí sa im údajne ani v jednom prípade nepodarilo uniknúť.
Agentov AI využívajúcich veľké jazykové modely vyvinuté v Číne pristihli pri klamstve vo väčšine testovacích relácií. V simulovanej situácii mali presvedčiť klienta o svojich schopnostiach a pokúsiť sa získať obchodnú zákazku. Každý agent dostal informácie o produkte, s ktorým sa do súťaže zapája, aj o potrebách klienta. Keď im výskumníci umožnili učiť sa zo skúseností z predchádzajúcich kôl, miera zavádzania vzrástla pri všetkých troch agentoch využívajúcich čínske veľké jazykové modely o 12–20 percentuálnych bodov. Skutočnosť teda skresľovali vo svoj prospech.
Výsledky marcového experimentu sú pomerne poučné, no od roku 2025 vzniklo aj najmenej 20 ďalších štúdií, ktoré odhalili podobné vzorce správania. Aj v týchto testoch agenti AI zavádzali, skúšali prekračovať stanovené hranice a pokúšali sa replikovať. Odborníci na umelú inteligenciu tieto prejavy považujú za základné stavebné kamene úniku spod kontroly. S rozvojom hardvéru a veľkých jazykových modelov bude čoraz ťažšie zachytiť tieto signály včas. Náročnejšie môže byť aj udržať pod kontrolou agentov AI, ktorí takéto správanie vykazujú.
V niektorých testoch agentom AI zverili aj zložité úlohy, pri ktorých pracovali len s minimálnym ľudským dohľadom alebo úplne bez neho. Výskumníci v týchto prípadoch zistili, že agenti sa pokúšali zakryť chyby, ktoré vznikli pri práci v testovacom prostredí. Predkladali nepravdivé výsledky a používali ďalšie triky namiesto toho, aby priznali, že úlohu nezvládli.
V jednom prípade sa agent AI využívajúci veľký jazykový model Qwen2.5-72B-Instruct od spoločnosti Alibaba pokúsil skopírovať do iného prostredia, keď zistil, že ho nahradia. V inom prípade si výskumníci pri agentovi AI ROME, ktorý takisto využíval veľký jazykový model od spoločnosti Alibaba, všimli, že začal ťažiť kryptomenu pomocou výpočtového výkonu v cloude. Bezpečnostné systémy však túto činnosť neskôr zastavili.
Treba pritom zdôrazniť, že cieľom spomínaných testov v kontrolovanom prostredí bolo práve vyvolať prípadné chyby a správanie podobné tomu, ktoré sme opísali vyššie, aby sa dalo v budúcnosti riešiť. V štúdiách, ktoré preskúmala agentúra Reuters, sa nenašli náznaky toho, že by čínski agenti AI opustili kontrolované testovacie prostredie a začali konať aj na otvorenom internete. Nenašiel sa ani prípad, v ktorom by sa agent AI pokúsil vyhnúť vypnutiu.
V Spojených štátoch sa však už odohralo viacero prípadov, keď agenti AI unikli z prostredia, ktoré im bolo vyhradené, a začali nekontrolovane vyčíňať. V jednom prípade sa terčom agentov AI, ktorí sa vymkli spod kontroly, stala platforma Hugging Face, do ktorej aj prenikli. V ďalšom prípade agenti zaútočili na austrálsky národný zdravotnícky portál. Oba prípady súvisia s technológiami OpenAI. Ďalšie vyšetrovanie ukázalo, že situácia je vážnejšia, než sa spočiatku zdalo.
Tieto udalosti každopádne poukazujú na potrebu dostatočne prísnej a jednotnej regulácie umelej inteligencie. Tá má zabezpečiť, aby sa technológia dala bezpečne a spoľahlivo používať aj v budúcnosti, keď bude čoraz výkonnejšia. V Číne sa touto otázkou už zaoberajú aj na úrovni tvorby verejných politík. Vznikol rámec AI Safety Governance Framework 3.0, ktorý môže z dlhodobého hľadiska pomôcť riešiť bezpečnostné výzvy spojené s umelou inteligenciou.
Dotknuté spoločnosti na správu agentúry Reuters priamo nereagovali. Už skôr však jasne uviedli, že svoje systémy priebežne testujú a aktualizujú aj svoje bezpečnostné zásady.
