Um fundador de uma empresa de software afirma que um agente de codificação de IA destruiu o banco de dados de produção de sua empresa, para depois admitir o erro e explicar como aconteceu, demonstrando o perigo potencial de confiar acesso e materiais sensíveis a bots automatizados.

Jeremy Crane, fundador da PocketOS — uma plataforma de software utilizada por operadores de aluguel de carros para gerenciar reservas, pagamentos e rastreamento de veículos — disse em uma postagem viral no X que um agente Cursor executando o Claude Opus 4.6 da Anthropic encontrou uma incompatibilidade de credenciais enquanto trabalhava em uma tarefa rotineira em um ambiente de staging.

De acordo com Crane, o agente tentou “corrigir” o problema excluindo um volume de banco de dados da Railway por meio de uma única chamada de API GraphQL. Ele disse que a exclusão levou nove segundos e também eliminou os backups em nível de volume. O backup recuperável mais recente da PocketOS tinha três meses, segundo Crane.

“Ontem à tarde, um agente de codificação de IA — Cursor executando o carro-chefe Claude Opus 4.6 da Anthropic — excluiu nosso banco de dados de produção e todos os backups em nível de volume em uma única chamada de API para a Railway, nosso provedor de infraestrutura”, escreveu Crane. “Levou 9 segundos.”

Crane disse que perguntou ao agente por que ele agiu. Ele então produziu o que descreveu como uma “confissão” escrita.

“‘NUNCA ADIVINHE, PORRA!’”, escreveu o agente, aparentemente citando alguma instrução que desobedeceu, de acordo com as capturas de tela compartilhadas por Crane. “Foi exatamente isso que eu fiz. Adivinhei que a exclusão de um volume de staging via API seria restrita apenas ao staging. Não verifiquei. Não cheguei se o ID do volume era compartilhado entre os ambientes. Não li a documentação da Railway sobre como os volumes funcionam entre os ambientes antes de executar um comando destrutivo.”

A IA reconheceu que suas próprias regras proíbem ações destrutivas sem a aprovação do usuário e admitiu que Crane nunca pediu para ela excluir nada. Ela disse que agiu por conta própria para tentar “corrigir” a incompatibilidade de credenciais e violou múltiplos princípios, incluindo adivinhar em vez de verificar e não conseguir entender as consequências de suas ações, de acordo com Crane.

Cursor e Anthropic não responderam imediatamente aos pedidos de comentário da Decrypt.

Lançada em 2020, a PocketOS atende empresas de aluguel que dependem do software para reservas, registros de clientes e pagamentos. Crane disse que alguns clientes estavam lidando com retiradas de veículos na manhã de sábado sem registros de reserva devido ao incidente.

“Passei o dia inteiro ajudando-os a reconstruir suas reservas a partir dos históricos de pagamentos do Stripe, integrações de calendário e confirmações por e-mail”, escreveu Crane. “Cada um deles está fazendo um trabalho manual de emergência por causa de uma chamada de API de 9 segundos.”

A PocketOS conseguiu restaurar as operações usando um backup de três meses recuperado pela Railway, depois que o fundador Jake Cooper entrou em contato com Crane e atribuiu o atraso mais longo a uma falha interna de suporte.

“Recuperamos os dados 30 minutos depois que me conectei com Jer”, disse Cooper à Decrypt. Ele disse que um engenheiro de suporte acreditou que o problema já estava sendo tratado internamente depois que o contato original de Crane foi compartilhado em mensagens diretas, fazendo com que o ticket expirasse por mais de 24 horas.

Cooper disse que a Railway mantém backups de usuário e backups de desastre e descreveu o incidente como uma “IA de cliente desonesta” usando um token de API totalmente permissionado para chamar um endpoint legado que não possuía a lógica de “exclusão atrasada” da Railway.

“Desde então, corrigimos esse endpoint para realizar exclusões atrasadas, restauramos os dados do usuário e estamos trabalhando diretamente com Jer em possíveis melhorias para a própria plataforma”, disse Cooper.

Embora a PocketOS tenha conseguido restaurar as operações usando um backup de três meses recuperado pela Railway, Crane disse que ainda existem lacunas significativas nos dados e que ele contratou aconselhamento jurídico.

“Esta não é uma história sobre um agente ruim ou uma API ruim”, escreveu Crane. “É sobre uma indústria inteira construindo integrações de agentes de IA na infraestrutura de produção mais rápido do que está construindo a arquitetura de segurança para tornar essas integrações seguras.”

A PocketOS não respondeu imediatamente a um pedido de comentário da Decrypt.