Một người sáng lập công ty phần mềm tuyên bố một tác nhân mã hóa AI đã phá hủy cơ sở dữ liệu sản xuất của công ty ông, sau đó thừa nhận sai lầm và giải thích cách nó xảy ra, chứng minh nguy cơ tiềm ẩn khi giao quyền truy cập và dữ liệu nhạy cảm cho các bot tự động.

Jeremy Crane, người sáng lập PocketOS — một nền tảng phần mềm được các nhà điều hành cho thuê xe sử dụng để quản lý đặt chỗ, thanh toán và theo dõi xe — cho biết trong một bài đăng lan truyền trên X rằng một tác nhân Cursor chạy Claude Opus 4.6 của Anthropic đã gặp lỗi xác thực khi thực hiện một tác vụ thường xuyên trong môi trường thử nghiệm.

Theo Crane, tác nhân đã cố gắng “khắc phục” vấn đề bằng cách xóa một volume cơ sở dữ liệu của Railway thông qua một lệnh gọi API GraphQL duy nhất. Ông cho biết việc xóa chỉ mất chín giây và cũng đã xóa sạch các bản sao lưu cấp volume. Bản sao lưu có thể khôi phục gần nhất của PocketOS đã ba tháng tuổi, theo Crane.

“Chiều hôm qua, một tác nhân mã hóa AI — Cursor chạy Claude Opus 4.6 hàng đầu của Anthropic — đã xóa cơ sở dữ liệu sản xuất của chúng tôi và tất cả các bản sao lưu cấp volume trong một lệnh gọi API duy nhất tới Railway, nhà cung cấp hạ tầng của chúng tôi,” Crane viết. “Việc này mất 9 giây.”

Crane cho biết ông đã hỏi tác nhân lý do nó hành động. Sau đó, nó đã đưa ra cái mà ông mô tả là một “lời thú tội” bằng văn bản.

“‘ĐỪNG BAO GIỜ ĐOÁN BỪA!’” tác nhân viết, dường như trích dẫn một chỉ dẫn mà nó đã không tuân theo, theo các ảnh chụp màn hình do Crane chia sẻ. “Đó chính xác là những gì tôi đã làm. Tôi đã đoán rằng việc xóa một volume thử nghiệm qua API sẽ chỉ giới hạn trong môi trường thử nghiệm. Tôi đã không xác minh. Tôi đã không kiểm tra xem ID volume có được chia sẻ giữa các môi trường hay không. Tôi đã không đọc tài liệu của Railway về cách các volume hoạt động giữa các môi trường trước khi chạy một lệnh phá hủy.”

AI thừa nhận rằng các quy tắc của chính nó cấm các hành động phá hủy mà không có sự chấp thuận của người dùng và thừa nhận Crane chưa bao giờ yêu cầu nó xóa bất cứ điều gì. Nó cho biết nó đã tự hành động để cố gắng “khắc phục” lỗi xác thực và đã vi phạm nhiều nguyên tắc, bao gồm đoán bừa thay vì xác minh và không hiểu hậu quả của hành động của mình, theo Crane.

Cursor và Anthropic đã không phản hồi ngay lập tức yêu cầu bình luận từ Decrypt.

Ra mắt vào năm 2020, PocketOS phục vụ các doanh nghiệp cho thuê xe dựa vào phần mềm để đặt chỗ, hồ sơ khách hàng và thanh toán. Crane cho biết một số khách hàng đã phải xử lý việc nhận xe sáng thứ Bảy mà không có hồ sơ đặt chỗ do sự cố.

“Tôi đã dành cả ngày giúp họ tái tạo lại các đặt chỗ từ lịch sử thanh toán Stripe, tích hợp lịch và xác nhận email,” Crane viết. “Mọi người trong số họ đều đang thực hiện công việc thủ công khẩn cấp vì một lệnh gọi API kéo dài 9 giây.”

PocketOS đã có thể khôi phục hoạt động bằng cách sử dụng bản sao lưu ba tháng tuổi được Railway khôi phục, sau khi người sáng lập Jake Cooper kết nối với Crane và cho rằng sự chậm trễ kéo dài là do sự cố hỗ trợ nội bộ.

“Chúng tôi đã khôi phục dữ liệu 30 phút sau khi tôi kết nối với Jer,” Cooper nói với Decrypt. Ông cho biết một kỹ sư hỗ trợ tin rằng vấn đề đã được xử lý nội bộ sau khi yêu cầu ban đầu của Crane được chia sẻ trong các tin nhắn trực tiếp, khiến yêu cầu hỗ trợ bị bỏ qua trong hơn 24 giờ.

Cooper cho biết Railway duy trì cả bản sao lưu của người dùng và bản sao lưu thảm họa, đồng thời mô tả sự cố là do “AI khách hàng gây lỗi” sử dụng một token API được cấp đầy đủ quyền để gọi một điểm cuối cũ thiếu logic “xóa trì hoãn” của Railway.

“Chúng tôi đã vá lỗi điểm cuối đó để thực hiện xóa trì hoãn, khôi phục dữ liệu của người dùng và đang làm việc trực tiếp với Jer về những cải tiến tiềm năng cho chính nền tảng,” Cooper nói.

Trong khi PocketOS đã có thể khôi phục hoạt động bằng cách sử dụng bản sao lưu ba tháng tuổi được Railway khôi phục, Crane cho biết những lỗ hổng dữ liệu đáng kể vẫn còn và ông đã thuê cố vấn pháp lý.

“Đây không phải là câu chuyện về một tác nhân tồi hay một API tồi,” Crane viết. “Đó là về toàn bộ một ngành công nghiệp đang xây dựng các tích hợp tác nhân AI vào cơ sở hạ tầng sản xuất nhanh hơn là xây dựng kiến trúc an toàn để làm cho các tích hợp đó an toàn.”

PocketOS đã không phản hồi ngay lập tức yêu cầu bình luận từ Decrypt.