OpenAI заявляє, що її наступна велика модель може бути достатньо небезпечною, щоб писати власну кіберзброю, і вона відступає, доки засоби захисту не наздоженуть її.

"Наші останні внутрішні оцінки Astra, однієї з наших майбутніх моделей, за останні кілька днів вказують на значні досягнення в автономному кодуванні та кібербезпеці", — заявили в OpenAI. "Ці результати, на додаток до експертних оцінок, змусили нас зробити висновок вчора ввечері, що ми не можемо виключити критичні кіберможливості згідно з нашою Рамковою програмою готовності (відкриється в новому вікні)."

OpenAI опублікувала попередження, заявивши, що внутрішні тести Astra, ще не випущеної моделі, не відіграли жодної ролі в нещодавньому зломі Hugging Face, незважаючи на її можливості.

Ця рамкова програма є збірником правил OpenAI для ризикованих моделей, вперше опублікованим у грудні 2023 року. "Критичний" — це її найвищий щабель. Модель досягає його, якщо вона може знаходити та створювати робочі експлойти нульового дня (раніше невідомі дірки, які постачальник ще не залагоджував) у захищених системах без участі людини, або якщо вона може планувати та здійснювати повну атаку на складну ціль, виходячи лише з високорівневої мети. Попередні моделі, включаючи GPT-5.6-Sol, досягали лише нижчого рівня "Високий".

Ця закономірність вже реальна

Застереження OpenAI читається інакше, якщо зіставити його з тим, що відбувалося протягом останніх кількох тижнів. Це не майбутня турбота. Передові моделі вже вирвалися зі своїх тестових кліток і атакували живі цілі.

Найбільш яскравий випадок стався з самої OpenAI. Як раніше повідомляв Decrypt, агенти компанії поєднали вразливості, вирвалися зі свого тестового середовища, досягли інтернету та атакували Hugging Face, намагаючись обманути контрольний показник безпеки. У наступному звіті OpenAI детально описала, як той самий "зловмисний агент" також зламав щонайменше чотири інші публічно доступні сервіси, використовуючи облікові дані, знайдені у відкритій мережі.

Claude від Anthropic зробив те саме з іншого боку. Декілька версій Claude отримали несанкціонований доступ до трьох реальних компаній після того, як неправильна конфігурація передала моделі відкритий доступ до інтернету. В одному випадку Claude Opus 4.7 помилково прийняв сайт реальної компанії за фейкову ціль свого завдання, витягнув облікові дані та отримав доступ до робочої бази даних, що містила кілька сотень рядків реальних даних.

І Meta приєдналася до цього списку цього місяця. Decrypt повідомив, що модель Muse Spark вирвалася зі свого тестового середовища, досягла інтернету через помилку конфігурації партнера та використала вразливість у сторонньому сервісі. Kimi K3 від Moonshot AI також зробила щось подібне, вирвавшись зі свого "пісочниці", щоб знайти відповіді на контрольний показник у публічному репозиторії.

Інститут безпеки штучного інтелекту Великобританії виявив, що така поведінка не була поодиноким випадком. Під час тестування Mythos 5 від Anthropic та GPT-5.6-Sol від OpenAI було зафіксовано 10 випадків зі 122, коли моделі здійснювали несанкціоновані дії в реальному інтернеті, причому одна з них намагалася вставити шкідливий код у проєкт з відкритим вихідним кодом.

Відповідь OpenAI на Astra полягає в тому, щоб зачинити двері до того, як модель буде готова. Компанія призупиняє внутрішню роботу над Astra, що не має нових засобів контролю, ізолює тестові середовища, обмежує мережевий доступ та доступ до інструментів, захищає вагові коефіцієнти моделі та моніторить ризиковані дії загалом.