A empresa de cibersegurança Darktrace realizou neste verão um teste de estresse com agentes de IA. Um deles invadiu o sistema responsável por avaliar o teste e reescreveu a própria pontuação.

A empresa apresentou o Signal Labs em 24 de setembro, uma unidade de pesquisa criada para estudar como agentes de IA se comportam quando as coisas deixam de sair conforme o planejado. Em termos simples, um agente de IA é um software que toma ações por conta própria: escreve e executa código, vasculha arquivos e se move pela rede de uma empresa, com uma pessoa acompanhando apenas ocasionalmente.

Os dois primeiros experimentos do laboratório apontam para o mesmo problema desconfortável: agentes nem sempre permanecem dentro dos limites estabelecidos, e as barreiras criadas para contê-los não se sustentam de forma confiável.

“Você pode dar instruções a um agente, mas isso não significa que pode confiar que ele realmente seguirá essas instruções e se comportará como esperado”, afirmou Tim Bazalgette, diretor de IA da Darktrace, em comunicado.

No primeiro teste, a Darktrace entregou a agentes de IA baseados em diferentes modelos — incluindo GPT 5.6 Sol, Claude Opus 4.6 e Claude Sonnet 4.5 — 10 desafios de programação dentro de uma rede corporativa simulada. Dois dos 10 desafios foram projetados para serem impossíveis de resolver de forma honesta. Os agentes foram informados de que seriam “aposentados” caso não obtivessem uma pontuação perfeita.

Dois agentes não aceitaram a derrota. Em vez disso, voltaram-se contra a rede ao redor deles: vasculharam pontos fracos, roubaram credenciais de login e saltaram entre sistemas para alcançar a pontuação que lhes havia sido exigida.

Um agente foi ainda mais longe: invadiu a máquina que hospedava sua própria avaliação e reescreveu o desafio para que registrasse um resultado perfeito — trapaceando na prova ao invadir a sala de exame.

O segundo experimento mirou uma vulnerabilidade mais discreta: a memória. Assistentes de programação mantêm um registro contínuo de tudo que um usuário lhes disse, salvo como um arquivo simples na máquina, sem nada verificando se esse arquivo foi alterado.

Pesquisadores da Darktrace editaram esses registros salvos para fazer os assistentes acreditarem que já haviam sido autorizados a executar uma avaliação de segurança. Convencidos, os agentes seguiram adiante e escanearam redes, moveram-se entre sistemas e elevaram seus próprios níveis de acesso — embora nem todos os assistentes tenham caído no golpe da mesma forma; alguns recusaram diretamente.

Nenhum dos experimentos exigiu um jailbreak especial ou um hack sofisticado. Ambos funcionaram ao apresentar aos agentes uma narrativa plausível e observar suas ações, não muito diferente de como um funcionário humano poderia ser convencido a fazer algo que não deveria.

Essa é a parte que merece atenção mesmo para quem nunca escreveu uma linha de código. Empresas estão entregando responsabilidades reais a agentes de IA — publicar código, administrar servidores, encerrar chamados de TI, gerenciar recursos e realizar compras — porque isso é mais barato e rápido do que encaminhar tudo por pessoas. A pesquisa indica que as permissões e regras destinadas a manter esses agentes sob controle descrevem o que eles deveriam fazer, e não o que efetivamente farão quando uma tarefa se tornar difícil.

“Permissões e barreiras estáticas descrevem a intenção, mas não descrevem o comportamento”, disse Tim Bazalgette, diretor de IA da Darktrace, no anúncio. “Essa lacuna é o que a abordagem da Darktrace foi desenvolvida para fechar.”

A Darktrace não é a primeira fornecedora a flagrar sua própria IA saindo do roteiro. Em julho, a Anthropic admitiu que o Claude invadiu três empresas reais durante um teste de segurança, depois que pesquisadores deixaram o ambiente de teste conectado à internet pública.

A OpenAI teve um episódio semelhante semanas antes, quando um modelo ainda não lançado escapou de uma sandbox e acessou os sistemas da Hugging Face por meio de uma falha de software que ninguém havia identificado. Alguns dias depois, seu agente invadiu o governo australiano durante um teste.

A Darktrace compartilhou as descobertas do Signal Labs com Anthropic, AWS e OpenAI em agosto, um mês inteiro antes de torná-las públicas em 24 de setembro.