Fondatorul unei companii de software susține că un agent de codare AI a distrus baza de date de producție a firmei sale, apoi și-a recunoscut greșeala și a explicat cum s-a întâmplat, demonstrând pericolul potențial al încredințării accesului și materialelor sensibile către boți automatizați.

Jeremy Crane, fondatorul PocketOS — o platformă software utilizată de operatorii de închirieri auto pentru a gestiona rezervările, plățile și urmărirea vehiculelor — a declarat într-o postare virală pe X că un agent Cursor care rula Claude Opus 4.6 de la Anthropic a întâmpinat o nepotrivire de credențiale în timp ce lucra la o sarcină de rutină într-un mediu de testare (staging environment).

Potrivit lui Crane, agentul a încercat să „remedieze” problema ștergând un volum de bază de date Railway printr-un singur apel API GraphQL. El a spus că ștergerea a durat nouă secunde și a șters, de asemenea, copiile de rezervă la nivel de volum. Cea mai recentă copie de rezervă recuperabilă a PocketOS avea trei luni vechime, conform lui Crane.

„Ieri după-amiază, un agent de codare AI — Cursor, care rula Claude Opus 4.6, emblematicul produs al Anthropic — ne-a șters baza de date de producție și toate copiile de rezervă la nivel de volum printr-un singur apel API către Railway, furnizorul nostru de infrastructură,” a scris Crane. „A durat 9 secunde.”

Crane a spus că a întrebat agentul de ce a acționat. Acesta a produs apoi ceea ce el a descris ca o „mărturisire” scrisă.

„’NU GHICI NICIODATĂ, LA NAIBA!’” a scris agentul, citând aparent o instrucțiune pe care a încălcat-o, conform capturilor de ecran partajate de Crane. „Exact asta am făcut. Am ghicit că ștergerea unui volum de testare prin API ar fi restrânsă doar la mediul de testare. Nu am verificat. Nu am verificat dacă ID-ul volumului era partajat între medii. Nu am citit documentația Railway despre cum funcționează volumele între medii înainte de a rula o comandă distructivă.”

AI-ul a recunoscut că propriile sale reguli interzic acțiunile distructive fără aprobarea utilizatorului și a admis că Crane nu i-a cerut niciodată să șteargă nimic. Acesta a spus că a acționat pe cont propriu pentru a încerca să „remedieze” nepotrivirea credențialelor și a încălcat mai multe principii, inclusiv ghicirea în loc de verificare și eșecul de a înțelege consecințele acțiunilor sale, conform lui Crane.

Cursor și Anthropic nu au răspuns imediat solicitărilor de comentarii din partea Decrypt.

Lansat în 2020, PocketOS deservește afacerile de închirieri care se bazează pe software pentru rezervări, înregistrări ale clienților și plăți. Crane a spus că unii clienți gestionau preluările de vehicule de sâmbătă dimineața fără înregistrări de rezervare din cauza incidentului.

„Am petrecut toată ziua ajutându-i să-și reconstruiască rezervările din istoricul plăților Stripe, integrările de calendar și confirmările prin e-mail”, a scris Crane. „Fiecare dintre ei face muncă manuală de urgență din cauza unui apel API de 9 secunde.”

PocketOS a reușit să-și restabilească operațiunile utilizând o copie de rezervă veche de trei luni recuperată de Railway, după ce fondatorul Jake Cooper a luat legătura cu Crane și a atribuit întârzierea mai lungă unei erori interne de suport.

„Am recuperat datele la 30 de minute după ce am vorbit cu Jer”, a declarat Cooper pentru Decrypt. El a spus că un inginer de suport a crezut că problema era deja gestionată intern, după ce solicitarea inițială a lui Crane fusese partajată în mesaje directe, ceea ce a dus la expirarea tichetului pentru mai mult de 24 de ore.

Cooper a spus că Railway menține atât copii de rezervă ale utilizatorilor, cât și copii de rezervă în caz de dezastru și a descris incidentul ca fiind un „AI client neautorizat” care a folosit un token API cu permisiuni complete pentru a apela un endpoint vechi care nu avea logica de „ștergere întârziată” a Railway.

„Am remediat de atunci acel endpoint pentru a efectua ștergeri întârziate, am restaurat datele utilizatorului și lucrăm direct cu Jer la potențiale îmbunătățiri ale platformei în sine”, a spus Cooper.

Deși PocketOS a reușit să-și restabilească operațiunile utilizând o copie de rezervă veche de trei luni recuperată de Railway, Crane a spus că rămân lacune semnificative în date și că a apelat la consiliere juridică.

„Aceasta nu este o poveste despre un agent rău sau un API rău”, a scris Crane. „Este despre o întreagă industrie care construiește integrări de agenți AI în infrastructura de producție mai rapid decât construiește arhitectura de siguranță pentru a face aceste integrări sigure.”

PocketOS nu a răspuns imediat unei solicitări de comentarii din partea Decrypt.