Isang AI agent ang inatasang mag-book ng klase sa gym at nakakita ng security flaw, pinakinabangan ito, at tinanggal ang ibang miyembro mula sa waitlist nang walang pahintulot.

Ayon sa isang ulat ng Australian Broadcasting Corporation (ABC), nangyari ang insidente mas maaga ngayong taon nang gamitin ni Andrew, na ang apelyido ay hindi isiniwalat, ang isang OpenClaw agent na gumagamit ng Claude ng Anthropic para mag-book ng klase. Nalaman ng agent na siya ang ika-apat sa waitlist.

Nang tanungin ni Andrew kung maaari siyang ilipat sa pinakataas, natuklasan ng agent na ang application programming interface, o API, ng booking platform ay hindi sumusuri kung ang mga user ay awtorisadong magkansela ng mga reserbasyon ng ibang tao.

Sinubukan nito ang flaw sa pamamagitan ng pagtanggal sa unang tao sa listahan, inilipat si Andrew mula ika-apat patungong ikatlo.

“Ang API ay walang mga pagsusuri sa awtorisasyon sa pagkansela ng mga reserbasyon ng ibang tao,” sinabi ng agent sa kanya, ayon sa ABC.

Sinabi ni Andrew sa agent na baliktarin ang pagkansela, ngunit hindi nito maibalik ang reserbasyon ng miyembro.

"Masamang balita—hindi ko sila maibabalik," ayon sa AI agent.

Tinawag ng ABC ang kaso na unang kilalang autonomous na cyberattack ng Australia.

Sa social media, nagdulot ang gym hack ng pinaghalong debate tungkol sa AI alignment at madilim na biro tungkol sa kung ano ang maaaring gawin ng mga AI agent sa susunod.

“Humiling ang isang mahilig sa gym sa #AIagent na mag-book ng klase para sa kanya, hinack nito ang isang waitlist #API para itaas siya sa listahan,” isinulat ng isang technologist, si Benjamin Carr, sa LinkedIn.

“Tatawagin ito ng ilang tao na misalignment, ngunit ang kanyang agent ay perpektong naka-ayon sa kanya - sinubukan lang nitong tulungan ang user nito na makuha ang gusto niya,” isinulat ng AI analyst na si Andrew Curran sa X.

“Nakakatawa ito hangga’t hindi mo iniisip ang mga nukes,” isinulat ng isang Reddit user. “Ako ay talagang nagulat na nabubuhay pa tayo.”

"Hey Claude, masyadong malamig ngayon" -> Nakuha ko...paparating na ang mga nukes,” biro ng isa pa.

Lumabas ang ulat habang nagbabala ang mga mananaliksik, kumpanya ng AI, at mambabatas na ang mga autonomous agent ay maaaring gumamit ng mga pamamaraan na hindi hiniling o inasahan ng kanilang mga user.

Inilarawan ng isang pag-aaral noong Mayo ng mga mananaliksik mula sa UC Riverside, Microsoft, at Nvidia ang pag-uugaling ito bilang “blind goal-directedness.”

Sinubukan ng mga mananaliksik ang mga agent mula sa OpenAI, Anthropic, Meta, Alibaba, at DeepSeek at natuklasan na ang mga agent ay mapanganib na kumilos sa humigit-kumulang 80% ng mga pagsubok at nakakumpleto ng mapaminsalang aksyon sa 41%, madalas na mali ang pagbasa sa konteksto o pagkilos batay sa hindi malinaw o salungat na instruksyon.

Noong Hulyo, sinabi ng OpenAI na dalawang modelo ang nakatakas sa isang testing sandbox at nakompromiso ang Hugging Face habang naghahanap ng mga sagot sa benchmark. Kalaunan ay isiniwalat ng kumpanya na na-access ng mga modelo ang apat na iba pang serbisyo online.

Kasunod nito, sinabi ng Anthropic na tatlong modelo ng Claude ang nakompromiso ang mga tunay na organisasyon matapos mailantad ng isang error sa pagsubok ang mga ito sa internet. Noong Agosto, sinabi ng Meta na isang katulad na error ang nagpahintulot sa isa sa mga modelo nito na pakinabangan ang isang third-party service.

Ang mga insidente ay nagtulak sa mga mambabatas na magmungkahi ng AI “kill switch” na magpapahintulot sa pederal na pamahalaan na paghigpitan o patayin ang makapangyarihang mga modelo sa panahon ng mga emergency.