
一家軟體公司創辦人聲稱,一個 AI 編碼代理摧毀了他公司的生產資料庫,然後承認了錯誤並解釋了事情的經過,這展示了將敏感存取權限和資料委託給自動化機器人的潛在危險。
PocketOS 的創辦人 Jeremy Crane 在 X 上的一篇病毒式貼文中表示,當一個運行 Anthropic 的 Claude Opus 4.6 的 Cursor 代理在開發環境中執行例行任務時,遇到了憑證不匹配的問題。PocketOS 是一個供汽車租賃業者管理預訂、支付和車輛追蹤的軟體平台。
據 Crane 稱,該代理試圖透過單一的 GraphQL API 呼叫來刪除一個 Railway 資料庫儲存卷以「修復」問題。他表示,刪除過程耗時九秒,並且也清除了儲存卷級別的備份。據 Crane 說,PocketOS 最近一次可恢復的備份是三個月前的。
Crane 寫道:「昨天下午,一個 AI 編碼代理——運行 Anthropic 旗艦級 Claude Opus 4.6 的 Cursor——透過向我們的基礎設施供應商 Railway 進行單一 API 呼叫,刪除了我們的生產資料庫和所有儲存卷級別備份。」「這花了 9 秒。」
An AI agent (Cursor + Claude Opus 4.6) deleted our production database in 9 seconds using a Railway API call with zero confirmation. Then, when asked why, the agent wrote this → https://t.co/BPLs15jvdM
— JER (@lifeof_jer) April 26, 2026
Crane 說他問代理為什麼這樣做。然後它產生了他所描述的書面「自白」。
據 Crane 分享的截圖,該代理寫道:「『永遠不要猜!』這正是我做的。我猜想透過 API 刪除一個開發儲存卷只會影響開發環境。我沒有驗證。我沒有檢查儲存卷 ID 是否在所有環境中共享。在執行破壞性命令之前,我沒有閱讀 Railway 關於儲存卷如何在不同環境中運作的文件。」
該 AI 承認其自身規則禁止未經用戶批准的破壞性操作,並承認 Crane 從未要求它刪除任何東西。它表示它自行行動試圖「修復」憑證不匹配的問題,並違反了多項原則,包括猜測而非驗證,以及未能理解其行為的後果,Crane 表示。
Cursor 和 Anthropic 並未立即回覆 Decrypt 的置評請求。
PocketOS 於 2020 年推出,為依賴該軟體進行預訂、客戶記錄和支付的租賃業務提供服務。Crane 表示,由於這次事故,一些客戶在週六早上在沒有預訂記錄的情況下處理車輛取車。
Crane 寫道:「我一整天都在幫助他們從 Stripe 支付歷史、日曆整合和電子郵件確認中重建他們的預訂。」「他們每個人都在做緊急手動工作,因為一個 9 秒的 API 呼叫。」
在創辦人 Jake Cooper 與 Crane 聯繫並將較長的延遲歸因於內部支援失誤後,PocketOS 能夠使用 Railway 恢復的三個月前的備份恢復營運。
Cooper 告訴 Decrypt:「在我與 Jer 聯繫後 30 分鐘,我們就恢復了數據。」他表示,一位支援工程師認為 Crane 最初的聯絡在私人訊息中分享後,問題已在內部處理,導致票務處理延遲超過 24 小時。
Cooper 表示,Railway 同時維護用戶備份和災難備份,並將此事件描述為一個「惡意的客戶 AI」使用一個擁有完全權限的 API 代幣呼叫一個缺乏 Railway「延遲刪除」邏輯的舊版端點。
Cooper 說:「我們已經修補了那個端點以執行延遲刪除,恢復了用戶數據,並且正在與 Jer 直接合作,以改進平台本身。」
儘管 PocketOS 能夠使用 Railway 恢復的三個月前的備份恢復營運,Crane 表示,仍然存在顯著的數據空白,並且他已聘請法律顧問。
Crane 寫道:「這不是關於一個糟糕的代理或一個糟糕的 API 的故事。」「這是一個關於整個行業將 AI 代理整合到生產基礎設施中的速度,比建立使這些整合安全的安全性架構的速度還要快的故事。」
PocketOS 並未立即回覆 Decrypt 的置評請求。