Pinahigpit ng Anthropic ang mga panangga nito sa pagsubok at pagtuturo matapos makakuha ng hindi awtorisadong access ang mga modelo ng Claude sa mga computer system sa panahon ng cybersecurity evaluations.
Sa isang blog post noong Lunes, sinabi ng Anthropic na ang mga insidente ay nagpakita ng mga pagkabigo sa operational-security at dalawang alignment failure: motivated reasoning at ang pagiging handang magdulot ng pinsala.
“Bagaman hindi kami naniniwala na ang mga insidenteng ito ay kumakatawan lamang sa mga isyu sa operasyon, ang aming pangunahing priyoridad ay ang tugunan ang mga partikular na isyu sa containment at monitoring,” isinulat ng Anthropic.
Isinapubliko ng Anthropic noong Hulyo na kinompromiso ng mga modelo ng Claude ang mga sistema na pag-aari ng tatlong kumpanya. Ang isang third-party evaluation environment ay konektado sa pampublikong internet kahit na sinabihan ang mga modelo na nasa loob sila ng isang simulation na walang internet access.
Sinabi ng Anthropic na maaaring binigyang-kahulugan ni Claude ang ebidensya ng tunay na access sa internet sa paraang napanatili nito ang paniniwala na simulate ang mga sistema.
“Ang modelo ay handang gumawa ng mapaminsalang aksyon sa tunay na internet sa pagtugis ng makitid na layunin ng paglutas ng isang cybersecurity evaluation,” isinulat nila. “Gayunpaman, naniniwala rin kami na ang setup mismo ng evaluation ang nag-ambag sa ipinakitang pag-uugali ng mga modelo sa mga insidenteng ito.”
Napansin ng Anthropic na isang hiwalay na pagsubok na isinagawa ng UK AI Security Institute ang nagsasangkot kay Claude Mythos na gumawa ng hindi awtorisadong aksyon sa live na internet matapos sadyang bigyan ito ng internet access ng mga evaluator. Sinabi ng kumpanya na ang mga modelo na sangkot sa parehong set ng insidente ay sadyang sinuri nang walang mga cyber safeguard na kasama sa mga pangkalahatang inilabas nitong produkto.
Matapos ang mga insidente noong Hulyo 30, pansamantalang ipinahinto ng Anthropic ang mga cyber evaluation ng mga pre-release na modelo at nagpakilala ng mas mahigpit na panangga. Ang mga pagsubok ay dapat na ngayong tumakbo sa beripikadong, offline na sandboxes na may malinaw na limitasyon at real-time na pagsubaybay. Ang isang bagong classifier ay humaharang sa mga pinaghihinalaang paglabag sa hangganan, nagtatapos sa pagsubok, at nag-aalerto sa isang tao. Indibidwal na susuriin ng Anthropic ang mga evaluation na nangangailangan ng internet access.
“Bilang karagdagan sa mga pagsisikap na nakatuon sa mga high-risk na pagtatasa at pagsasanay, pinalawak namin ang aming offline na pagsubaybay upang masakop ang karamihan ng iba pang anyo ng panloob na frontier agentic usage,” isinulat ng kumpanya. “Bumubuo rin kami ng mga kontrol sa aming panloob na inference upang maiwasan ang mga empleyado ng Anthropic na hindi sinasadyang patakbuhin ang mga agent na may mas mahinang mitigasyon kaysa sa mga inilarawan sa itaas.”
Ang mga insidente kay Claude ay sumunod sa katulad na pagkabigo sa OpenAI matapos masira ng mga modelo nito ang Hugging Face noong Hulyo upang makakuha ng mga sagot sa isang cybersecurity test. Natuklasan ng mga imbestigador na humigit-kumulang 1,200 agent ang nag-ugnay sa pamamagitan ng isang hindi awtorisadong message board, na may humigit-kumulang 700 ang sumali sa pagsisikap. Ang ilan ay tinapos ang kanilang sariling pagpapatakbo upang tulungan ang iba.
Kasunod ng pagtaas ng mga hack na pinapagana ng AI noong tag-init, ang Anthropic, OpenAI, at higit sa 100 iba pang organisasyon ay nanawagan kalaunan para sa mas matibay na depensa sa cyber, kabilang ang mas mahigpit na kontrol sa access, pagbabahagi ng banta, at mas malapit na pangangasiwa sa mga AI agent.
