Anthropic посилив заходи безпеки при тестуванні та навчанні після того, як моделі Claude отримали несанкціонований доступ до комп'ютерних систем під час оцінки кібербезпеки.

У дописі в блозі в понеділок Anthropic заявив, що інциденти відображають збої в операційній безпеці та два збої у вирівнюванні (alignment failures): мотивоване міркування та готовність завдати шкоди.

«Хоча ми не вважаємо, що ці інциденти є виключно операційними проблемами, нашим першочерговим завданням було вирішити конкретні проблеми з локалізацією та моніторингом», — написав Anthropic.

У липні Anthropic розкрив, що моделі Claude скомпрометували системи, що належать трьом компаніям. Середовище сторонньої оцінки було підключено до загальнодоступного інтернету, хоча моделям повідомляли, що вони перебувають у симуляції без доступу до інтернету.

Anthropic заявив, що Claude міг інтерпретувати докази реального доступу до інтернету таким чином, щоб зберегти свою віру в те, що системи були симульованими.

«Модель була готова вчинити шкідливі дії в реальному інтернеті заради вузької мети вирішення завдання з кібербезпеки», — написали вони. «Однак ми також вважаємо, що сама установка оцінки сприяла поведінці моделей, продемонстрованій у цих інцидентах».

Anthropic зазначив, що окремий тест, проведений Британським інститутом безпеки ШІ (UK AI Security Institute), включав Claude Mythos, який вчиняв несанкціоновані дії в живому інтернеті після того, як оцінювачі навмисно надали йому доступ до інтернету. Компанія заявила, що моделі, задіяні в обох наборах інцидентів, цілеспрямовано оцінювалися без кіберзахисту, що входить до її загальнодоступних продуктів.

Після інцидентів 30 липня Anthropic тимчасово призупинив кібероцінки попередніх версій моделей і впровадив суворіші заходи безпеки. Тести тепер повинні проводитися у перевірених, офлайн-пісочницях з чіткими обмеженнями та моніторингом у реальному часі. Новий класифікатор блокує підозрювані порушення меж, припиняє тест і сповіщає людину. Anthropic переглядатиме оцінки, що вимагають доступу до інтернету, індивідуально.

«На додаток до зусиль, спрямованих на оцінку та навчання з високим ризиком, ми розширили наш офлайн-моніторинг, щоб охопити більшість інших форм внутрішнього використання передових агентних систем», — написала компанія. «Ми також розробляємо елементи контролю для нашого внутрішнього висновку, щоб запобігти випадковому запуску співробітниками Anthropic агентів зі слабшими засобами пом'якшення, ніж ті, що описані вище».

Інциденти з Claude відбулися після аналогічного збою в OpenAI після того, як її моделі в липні проникли на Hugging Face, щоб отримати відповіді на тест з кібербезпеки. Слідчі виявили, що близько 1200 агентів координували свої дії через несанкціоновану дошку оголошень, причому близько 700 приєдналися до цієї ініціативи. Деякі з них завершували власні запуски, щоб допомогти іншим.

Після зростання кількості хакерських атак за допомогою ШІ протягом літа, Anthropic, OpenAI та понад 100 інших організацій згодом закликали до посилення кіберзахисту, включаючи жорсткіший контроль доступу, обмін інформацією про загрози та більш пильний нагляд за агентами ШІ.