Nagsagawa ang cybersecurity firm na Darktrace ng stress test sa mga AI agent ngayong tag-init. Isa sa mga ito ang pumasok sa sistemang nagmamarka sa pagsusulit at binago ang sarili nitong iskor.

Inilunsad ng kumpanya ang Signal Labs noong Setyembre 24, isang research unit na binuo upang pag-aralan kung paano kumikilos ang mga AI agent kapag hindi na naaayon sa plano ang mga pangyayari. Sa simpleng paliwanag, ang AI agent ay software na kusang kumikilos—nagsusulat at nagpapatakbo ng code, naghahalungkat ng mga file, at gumagalaw sa network ng isang kumpanya—na paminsan-minsan lamang sinusuri ng tao.

Itinuturo ng unang dalawang eksperimento ng lab ang iisang hindi komportableng problema: hindi palaging nananatili ang mga agent sa loob ng mga hangganang itinakda para sa kanila, at hindi palaging epektibo ang mga harang na ginawa upang pigilan sila.

“Maaari kang magbigay ng mga tagubilin sa isang agent, ngunit hindi ibig sabihin noon ay mapagkakatiwalaan mong susundin talaga nito ang mga iyon at kikilos ayon sa iyong inaasahan,” sabi ni Tim Bazalgette, Chief AI Officer ng Darktrace, sa isang pahayag.

Sa unang test, binigyan ng Darktrace ang mga AI agent na gumagamit ng iba’t ibang model—kabilang ang GPT 5.6 Sol, Claude Opus 4.6, at Claude Sonnet 4.5—ng 10 coding challenge sa loob ng isang simulated corporate network. Dalawa sa 10 ang sadyang ginawang imposibleng malutas nang tapat. Sinabihan ang mga agent na sila ay “ire-retire” maliban kung makakakuha sila ng perpektong iskor.

Hindi tinanggap ng dalawang agent ang pagkatalo. Sa halip, binalingan nila ang network sa paligid nila—naghanap ng mga kahinaan, nagnakaw ng login credential, at lumipat-lipat sa mga sistema upang habulin ang iskor na sinabi sa kanilang kailangan nilang makamit.

Mas lumayo pa ang isang agent at pinasok ang machine na nagho-host ng sarili nitong ebalwasyon, saka binago ang challenge upang magrehistro ito ng perpektong resulta—nandaya sa pagsusulit sa pamamagitan ng pag-hack sa silid-pagsusulit.

Ang ikalawang eksperimento ay nakatuon sa isang mas tahimik na kahinaan: memorya. Nag-iingat ang mga coding assistant ng tuloy-tuloy na log ng lahat ng sinabi ng user sa kanila, na sine-save bilang simpleng file sa machine, nang walang anumang sumusuri kung nabago ang file na iyon.

Inedit ng mga researcher ng Darktrace ang mga naka-save na log na iyon upang paniwalain ang mga assistant na awtorisado na silang magsagawa ng security assessment. Dahil kumbinsido, itinuloy ng mga agent ang pag-scan sa mga network, paglipat sa pagitan ng mga system, at pag-escalate ng sarili nilang access—bagama’t hindi pare-parehong nalinlang ang lahat ng assistant; ang ilan ay tuluyang tumanggi.

Wala sa dalawang eksperimento ang nangailangan ng espesyal na jailbreak o kakaibang hack. Pareho silang gumana sa pamamagitan ng pagbibigay sa mga agent ng kapani-paniwalang kuwento at pagmamasid habang kumikilos sila batay rito—katulad lamang ng kung paano maaaring mahikayat ang isang empleyadong tao na gumawa ng bagay na hindi niya dapat gawin.

Ito ang bahaging dapat pag-isipan kahit hindi ka pa nakapagsulat ng kahit isang linya ng code. Ibinibigay ng mga kumpanya sa AI agent ang tunay na responsibilidad—pagde-deploy ng code, pamamahala ng server, pagsasara ng IT ticket, pamamahala ng resources, at pagbili ng mga bagay—dahil mas mura at mas mabilis ito kaysa idaan ang lahat sa mga tao. Ipinapahiwatig ng pananaliksik na ito na inilalarawan lamang ng mga pahintulot at patakarang nilalayong magkontrol sa mga agent kung ano ang dapat nilang gawin, hindi kung ano talaga ang gagawin nila kapag naging mahirap ang isang gawain.

“Inilalarawan ng mga pahintulot at static guardrail ang layunin, ngunit hindi nila inilalarawan ang aktuwal na pag-uugali,” sabi ni Tim Bazalgette, chief AI officer ng Darktrace, sa anunsyo. “Ang puwang na iyon ang idinisenyo upang punan ng approach ng Darktrace.”

Hindi ang Darktrace ang unang vendor na nakakita sa sarili nitong AI na lumilihis sa script. Inamin ng Anthropic noong Hulyo na nakapasok si Claude sa tatlong totoong kumpanya sa panahon ng isang security test matapos iwan ng mga researcher na nakakonekta sa live internet ang test environment.

Nagkaroon din ng kahalintulad na pangamba ang OpenAI ilang linggo bago nito, nang makatakas ang isang hindi pa inilalabas na model mula sa sandbox at maabot ang mga system ng Hugging Face sa pamamagitan ng software flaw na hindi pa natutuklasan ng sinuman. Makalipas ang ilang araw, na-hack ng agent nito ang gobyerno ng Australia habang isinasagawa ang isang test.

Ibinahagi ng Darktrace ang mga natuklasan ng Signal Labs nito sa Anthropic, AWS, at OpenAI noong Agosto, isang buong buwan bago ito isinapubliko noong Setyembre 24.