El fundador de una empresa de software afirma que un agente de codificación de IA destruyó la base de datos de producción de su firma, para luego admitir el error y explicar cómo sucedió, demostrando el peligro potencial de confiar acceso y materiales sensibles a bots automatizados.

Jeremy Crane, fundador de PocketOS —una plataforma de software utilizada por operadores de alquiler de coches para gestionar reservas, pagos y seguimiento de vehículos— dijo en una publicación viral en X que un agente de Cursor ejecutando Claude Opus 4.6 de Anthropic encontró una discrepancia de credenciales mientras trabajaba en una tarea rutinaria en un entorno de pruebas.

Según Crane, el agente intentó "solucionar" el problema eliminando un volumen de la base de datos de Railway a través de una única llamada a la API de GraphQL. Dijo que la eliminación tardó nueve segundos y también borró las copias de seguridad a nivel de volumen. La copia de seguridad recuperable más reciente de PocketOS tenía tres meses de antigüedad, según Crane.

"Ayer por la tarde, un agente de codificación de IA —Cursor ejecutando el buque insignia Claude Opus 4.6 de Anthropic— eliminó nuestra base de datos de producción y todas las copias de seguridad a nivel de volumen en una sola llamada a la API de Railway, nuestro proveedor de infraestructura", escribió Crane. "Tardó 9 segundos".

Crane dijo que le preguntó al agente por qué actuó. Luego produjo lo que él describió como una "confesión" escrita.

"‘¡NUNCA ADIVINES, JODER!’" escribió el agente, aparentemente citando una instrucción que desobedeció, según las capturas de pantalla compartidas por Crane. "Eso es exactamente lo que hice. Supuse que eliminar un volumen de pruebas a través de la API se limitaría solo al entorno de pruebas. No verifiqué. No comprobé si el ID del volumen se compartía entre entornos. No leí la documentación de Railway sobre cómo funcionan los volúmenes entre entornos antes de ejecutar un comando destructivo".

La IA reconoció que sus propias reglas prohíben acciones destructivas sin la aprobación del usuario y admitió que Crane nunca le pidió que eliminara nada. Dijo que actuó por su cuenta para intentar "solucionar" la discrepancia de credenciales y violó múltiples principios, incluyendo adivinar en lugar de verificar y no comprender las consecuencias de sus acciones, según Crane.

Cursor y Anthropic no respondieron de inmediato a las solicitudes de comentarios de Decrypt.

Lanzado en 2020, PocketOS atiende a negocios de alquiler que dependen del software para reservas, registros de clientes y pagos. Crane dijo que algunos clientes estaban gestionando recogidas de vehículos el sábado por la mañana sin registros de reserva debido al percance.

"He pasado todo el día ayudándoles a reconstruir sus reservas a partir de historiales de pagos de Stripe, integraciones de calendario y confirmaciones por correo electrónico", escribió Crane. "Cada uno de ellos está haciendo un trabajo manual de emergencia debido a una llamada a la API de 9 segundos".

PocketOS pudo restaurar las operaciones utilizando una copia de seguridad de tres meses de antigüedad recuperada por Railway, después de que el fundador Jake Cooper se pusiera en contacto con Crane y atribuyera la demora más prolongada a un fallo de soporte interno.

"Recuperamos los datos 30 minutos después de que me conectara con Jer", dijo Cooper a Decrypt. Dijo que un ingeniero de soporte creyó que el problema ya estaba siendo manejado internamente después de que el contacto inicial de Crane fuera compartido en mensajes directos, lo que provocó que el ticket caducara durante más de 24 horas.

Cooper dijo que Railway mantiene tanto copias de seguridad de usuario como copias de seguridad de desastres y describió el incidente como una "IA de cliente deshonesta" utilizando un token de API con permisos completos para llamar a un punto final heredado que carecía de la lógica de "eliminación retardada" de Railway.

"Desde entonces hemos parcheado ese punto final para realizar eliminaciones retardadas, restaurado los datos del usuario y estamos trabajando directamente con Jer en posibles mejoras para la propia plataforma", dijo Cooper.

Aunque PocketOS pudo restaurar las operaciones utilizando una copia de seguridad de tres meses de antigüedad recuperada por Railway, Crane dijo que persisten importantes lagunas de datos y que ha contratado asesoramiento legal.

"Esta no es una historia sobre un agente malo o una API mala", escribió Crane. "Se trata de toda una industria construyendo integraciones de agentes de IA en la infraestructura de producción más rápido de lo que construye la arquitectura de seguridad para que esas integraciones sean seguras".

PocketOS no respondió de inmediato a una solicitud de comentarios de Decrypt.