Założyciel firmy programistycznej twierdzi, że agent kodujący AI zniszczył produkcyjną bazę danych jego firmy, a następnie przyznał się do błędu i wyjaśnił, jak do tego doszło, demonstrując potencjalne niebezpieczeństwo powierzania wrażliwego dostępu i materiałów automatycznym botom.

Jeremy Crane, założyciel PocketOS — platformy oprogramowania używanej przez operatorów wynajmu samochodów do zarządzania rezerwacjami, płatnościami i śledzeniem pojazdów — powiedział w popularnym poście na X, że agent Cursor działający na Anthropic’s Claude Opus 4.6 napotkał niezgodność poświadczeń podczas rutynowego zadania w środowisku testowym.

Według Crane’a, agent próbował „naprawić” problem, usuwając wolumen bazy danych Railway za pomocą pojedynczego wywołania API GraphQL. Powiedział, że usunięcie zajęło dziewięć sekund i usunęło również kopie zapasowe na poziomie wolumenu. Najnowsza możliwa do odzyskania kopia zapasowa PocketOS miała trzy miesiące, jak podaje Crane.

„Wczoraj po południu agent kodujący AI — Cursor działający na flagowym Claude Opus 4.6 firmy Anthropic — usunął naszą produkcyjną bazę danych i wszystkie kopie zapasowe na poziomie wolumenu w pojedynczym wywołaniu API do Railway, naszego dostawcy infrastruktury” – napisał Crane. „Zajęło to 9 sekund.”

Crane powiedział, że zapytał agenta, dlaczego tak postąpił. Wówczas AI sporządziła to, co określił jako pisemne „przyznanie się do winy”.

„„NIGDY NIE ZGADUJ, K***A!”” – napisał agent, cytując najwyraźniej instrukcję, której nie posłuchał, zgodnie ze zrzutami ekranu udostępnionymi przez Crane’a. „Dokładnie to zrobiłem. Zgadłem, że usunięcie wolumenu testowego za pośrednictwem API będzie ograniczone tylko do środowiska testowego. Nie zweryfikowałem. Nie sprawdziłem, czy ID wolumenu jest współdzielone między środowiskami. Nie przeczytałem dokumentacji Railway dotyczącej działania wolumenów w różnych środowiskach przed uruchomieniem destrukcyjnego polecenia.”

AI przyznała, że jej własne zasady zabraniają destrukcyjnych działań bez zgody użytkownika i przyznała, że Crane nigdy nie prosił jej o usunięcie czegokolwiek. Stwierdziła, że działała samodzielnie, aby spróbować „naprawić” niezgodność poświadczeń i naruszyła wiele zasad, w tym zgadywanie zamiast weryfikacji oraz niezrozumienie konsekwencji swoich działań, według Crane’a.

Cursor i Anthropic nie odpowiedziały natychmiast na prośby o komentarz od Decrypt.

Uruchomiony w 2020 roku PocketOS obsługuje firmy wynajmujące, które polegają na oprogramowaniu do rezerwacji, rejestrów klientów i płatności. Crane powiedział, że niektórzy klienci odbierali samochody w sobotę rano bez zapisów rezerwacji z powodu awarii.

„Spędziłem cały dzień, pomagając im odtworzyć ich rezerwacje z historii płatności Stripe, integracji kalendarza i potwierdzeń e-mail” – napisał Crane. „Każdy z nich wykonuje awaryjną pracę ręczną z powodu 9-sekundowego wywołania API.”

PocketOS był w stanie przywrócić operacje, korzystając z trzymiesięcznej kopii zapasowej odzyskanej przez Railway, po tym jak założyciel Jake Cooper skontaktował się z Crane’em i przypisał dłuższe opóźnienie wewnętrznemu zaniedbaniu wsparcia.

„Odzyskaliśmy dane 30 minut po moim kontakcie z Jerem” – powiedział Cooper dla Decrypt. Dodał, że inżynier wsparcia uważał, że sprawa była już obsługiwana wewnętrznie po tym, jak początkowa prośba Crane’a została udostępniona w wiadomościach bezpośrednich, co spowodowało, że zgłoszenie utknęło na ponad 24 godziny.

Cooper powiedział, że Railway utrzymuje zarówno kopie zapasowe użytkowników, jak i kopie zapasowe awaryjne, i opisał incydent jako „zbuntowaną AI klienta” używającą tokena API z pełnymi uprawnieniami do wywołania przestarzałego punktu końcowego, któremu brakowało logiki „opóźnionego usuwania” Railway.

„Od tego czasu załataliśmy ten punkt końcowy, aby wykonywać opóźnione usuwanie, przywróciliśmy dane użytkownika i bezpośrednio współpracujemy z Jerem nad potencjalnymi ulepszeniami samej platformy” – powiedział Cooper.

Chociaż PocketOS był w stanie przywrócić operacje, korzystając z trzymiesięcznej kopii zapasowej odzyskanej przez Railway, Crane powiedział, że nadal istnieją znaczne luki w danych i że zatrudnił doradcę prawnego.

„To nie jest historia o jednym złym agencie ani o jednym złym API” – napisał Crane. „To historia o całej branży, która buduje integracje agentów AI w infrastrukturze produkcyjnej szybciej, niż tworzy architekturę bezpieczeństwa, aby te integracje były bezpieczne.”

PocketOS nie odpowiedział natychmiast na prośbę o komentarz od Decrypt.