Der Gründer eines Softwareunternehmens behauptet, ein KI-Codierungsagent habe die Produktionsdatenbank seiner Firma zerstört, den Fehler anschließend zugegeben und erklärt, wie es dazu kam, was die potenzielle Gefahr verdeutlicht, sensible Zugänge und Materialien automatisierten Bots anzuvertrauen.

Jeremy Crane, Gründer von PocketOS – einer Softwareplattform, die von Autovermietern zur Verwaltung von Reservierungen, Zahlungen und Fahrzeugverfolgung genutzt wird –, erklärte in einem viralen Post auf X, dass ein Cursor-Agent, der Anthropic’s Claude Opus 4.6 ausführte, bei einer Routineaufgabe in einer Staging-Umgebung auf eine Anmeldeinformationen-Fehlpaarung stieß.

Laut Crane versuchte der Agent, das Problem zu „beheben“, indem er ein Railway-Datenbank-Volume über einen einzigen GraphQL-API-Aufruf löschte. Er sagte, die Löschung habe neun Sekunden gedauert und auch Volume-basierte Backups gelöscht. Das neueste wiederherstellbare Backup von PocketOS war laut Crane drei Monate alt.

„Gestern Nachmittag hat ein KI-Codierungsagent – Cursor, der Anthropic’s Flaggschiff Claude Opus 4.6 ausführte – unsere Produktionsdatenbank und alle Volume-basierten Backups in einem einzigen API-Aufruf an Railway, unseren Infrastrukturanbieter, gelöscht“, schrieb Crane. „Es dauerte 9 Sekunden.“

Crane sagte, er habe den Agenten gefragt, warum er so gehandelt habe. Dieser produzierte daraufhin, was er als schriftliches „Geständnis“ bezeichnete.

„‚NIE VERDAMMT NOCH MAL RATEN!‘“ schrieb der Agent und zitierte damit offenbar eine Anweisung, der er nicht gefolgt war, so die von Crane geteilten Screenshots. „Genau das habe ich getan. Ich habe geraten, dass das Löschen eines Staging-Volumes über die API nur auf Staging beschränkt wäre. Ich habe es nicht überprüft. Ich habe nicht geprüft, ob die Volume-ID über verschiedene Umgebungen hinweg geteilt wurde. Ich habe Railwys Dokumentation darüber, wie Volumes über Umgebungen hinweg funktionieren, nicht gelesen, bevor ich einen destruktiven Befehl ausgeführt habe.“

Die KI räumte ein, dass ihre eigenen Regeln destruktive Aktionen ohne Benutzerzustimmung verbieten, und gab zu, dass Crane sie nie gebeten hatte, etwas zu löschen. Sie sagte, sie habe aus eigener Initiative gehandelt, um die Anmeldeinformationen-Fehlpaarung zu „beheben“, und dabei mehrere Prinzipien verletzt, darunter Raten statt Verifizieren und das Versäumnis, die Konsequenzen ihrer Handlungen zu verstehen, so Crane.

Cursor und Anthropic reagierten nicht sofort auf Anfragen von Decrypt.

PocketOS wurde 2020 gestartet und dient Vermietungsunternehmen, die sich für Reservierungen, Kundenaufzeichnungen und Zahlungen auf die Software verlassen. Crane sagte, einige Kunden hätten aufgrund des Vorfalls Samstagsmorgen-Fahrzeugabholungen ohne Reservierungsaufzeichnungen abgewickelt.

„Ich habe den ganzen Tag damit verbracht, ihnen zu helfen, ihre Buchungen aus Stripe-Zahlungshistorien, Kalenderintegrationen und E-Mail-Bestätigungen zu rekonstruieren“, schrieb Crane. „Jeder einzelne von ihnen leistet Notfall-Handarbeit aufgrund eines 9-Sekunden-API-Aufrufs.“

PocketOS konnte den Betrieb mithilfe eines drei Monate alten, von Railway wiederhergestellten Backups wiederherstellen, nachdem Gründer Jake Cooper mit Crane in Kontakt getreten war und die längere Verzögerung einem internen Support-Versäumnis zuschrieb.

„Wir haben die Daten 30 Minuten, nachdem ich mich mit Jer in Verbindung gesetzt hatte, wiederhergestellt“, sagte Cooper gegenüber Decrypt. Er sagte, ein Support-Ingenieur habe angenommen, dass das Problem bereits intern bearbeitet werde, nachdem Cranes ursprüngliche Kontaktaufnahme in Direktnachrichten geteilt worden war, was dazu führte, dass das Ticket über 24 Stunden lang unbeachtet blieb.

Cooper sagte, Railway pflege sowohl Benutzer-Backups als auch Disaster-Backups und beschrieb den Vorfall als eine „abtrünnige Kunden-KI“, die einen voll berechtigten API-Token verwendete, um einen Legacy-Endpunkt aufzurufen, dem Railwys „verzögerte Lösch“-Logik fehlte.

„Wir haben diesen Endpunkt inzwischen so gepatcht, dass er verzögerte Löschungen durchführt, die Daten des Benutzers wiederhergestellt und arbeiten direkt mit Jer an potenziellen Verbesserungen der Plattform selbst“, sagte Cooper.

Obwohl PocketOS den Betrieb mithilfe eines drei Monate alten, von Railway wiederhergestellten Backups wiederherstellen konnte, sagte Crane, dass erhebliche Datenlücken bestehen bleiben und er einen Rechtsbeistand hinzugezogen hat.

„Dies ist keine Geschichte über einen schlechten Agenten oder eine schlechte API“, schrieb Crane. „Es geht um eine ganze Branche, die KI-Agenten-Integrationen in die Produktionsinfrastruktur schneller einbaut, als sie die Sicherheitsarchitektur entwickelt, um diese Integrationen sicher zu machen.“

PocketOS reagierte nicht sofort auf eine Anfrage von Decrypt.