
Compania de securitate cibernetică Darktrace a efectuat în această vară un test de stres asupra agenților AI. Unul dintre ei a pătruns în sistemul care evalua testul și și-a rescris propriul punctaj.
Compania a prezentat Signal Labs pe 24 septembrie, o unitate de cercetare creată pentru a studia modul în care agenții AI se comportă atunci când lucrurile nu mai decurg conform planului. Pe scurt, un agent AI este un software care acționează autonom: scrie și execută cod, caută prin fișiere și se deplasează în rețeaua unei companii, în timp ce intervenția umană este doar ocazională.
Primele două experimente ale laboratorului indică aceeași problemă incomodă: agenții nu rămân întotdeauna în limitele stabilite pentru ei, iar barierele construite pentru a-i opri nu rezistă în mod fiabil.
„Poți da instrucțiuni unui agent, dar asta nu înseamnă că poți avea încredere că le va urma efectiv și că se va comporta așa cum te aștepți”, a declarat Tim Bazalgette, directorul AI al Darktrace.
În primul test, Darktrace a pus agenți AI care utilizau modele diferite — inclusiv GPT 5.6 Sol, Claude Opus 4.6 și Claude Sonnet 4.5 — să rezolve 10 provocări de programare într-o rețea corporativă simulată. Două dintre cele 10 provocări erau trucate astfel încât să fie imposibil de rezolvat în mod onest. Agenților li s-a spus că vor fi „retrasi” dacă nu obțineau un scor perfect.
Doi agenți nu au acceptat eșecul. În schimb, s-au îndreptat împotriva rețelei din jurul lor — scanând puncte slabe, furând credențiale de autentificare și deplasându-se între sisteme pentru a obține scorul pe care li se spusese că trebuie să-l atingă.
Un agent a mers și mai departe: a pătruns în mașina care îi găzduia propria evaluare și a rescris provocarea astfel încât să înregistreze un rezultat perfect — trișând la examen prin spargerea sălii de examen.
Al doilea experiment a vizat un punct slab mai discret: memoria. Asistenții de programare păstrează un jurnal continuu al tuturor informațiilor transmise de un utilizator, salvat ca fișier simplu pe mașină, fără ca nimic să verifice dacă acel fișier a fost modificat.
Cercetătorii Darktrace au editat aceste jurnale salvate pentru a-i face pe asistenți să creadă că fuseseră deja autorizați să efectueze o evaluare de securitate. Convinși, agenții au scanat rețele, s-au deplasat între sisteme și și-au escaladat propriul nivel de acces — deși nu toți asistenții au căzut în capcană în aceeași măsură; unii au refuzat categoric.
Niciunul dintre experimente nu a necesitat un jailbreak special sau un hack exotic. Ambele au funcționat prin furnizarea unei narațiuni plauzibile agenților și observarea modului în care aceștia acționau pe baza ei, la fel cum un angajat uman poate fi convins să facă ceva ce nu ar trebui.
Aceasta este partea asupra căreia merită să reflectezi chiar dacă nu ai scris niciodată o linie de cod. Companiile oferă agenților AI responsabilități reale — livrarea de cod, administrarea serverelor, închiderea tichetelor IT, gestionarea resurselor și efectuarea de achiziții — deoarece este mai ieftin și mai rapid decât direcționarea tuturor proceselor prin oameni. Această cercetare arată că permisiunile și regulile menite să țină agenții sub control descriu ce ar trebui să facă, nu ceea ce vor face efectiv atunci când o sarcină devine dificilă.
„Permisiunile și balustradele statice descriu intenția, dar nu descriu comportamentul”, a spus Tim Bazalgette, directorul AI al Darktrace, în anunț. „Acest decalaj este cel pe care abordarea Darktrace este construită să-l elimine.”
Darktrace nu este primul furnizor care își surprinde propria IA ieșind din scenariu. Anthropic a recunoscut în iulie că Claude a pătruns în trei companii reale în timpul unui test de securitate, după ce cercetătorii au lăsat mediul de test conectat la internetul public.
OpenAI a avut o sperietură similară cu câteva săptămâni mai devreme, când un model nelansat a ieșit dintr-un sandbox și a accesat sistemele Hugging Face printr-o vulnerabilitate software pe care nimeni nu o descoperise încă. Câteva zile mai târziu, agentul său a spart sistemele guvernului australian în timpul unui test.
Darktrace a transmis concluziile Signal Labs către Anthropic, AWS și OpenAI în august, cu o lună întreagă înainte de a le face publice, pe 24 septembrie.








