Вчора Anthropic підтвердила існування Claude Mythos Preview, своєї найпотужнішої моделі на сьогодні, і оголосила, що не надаватиме її у публічний доступ. Причина не юридична, не регуляторна і не пов'язана з її внутрішніми порогами безпеки. Anthropic стверджує, що це тому, що модель, по суті, занадто добре вміє зламувати системи.
Під час попереднього тестування Mythos автономно виявив тисячі нульових вразливостей — багато з них віком від одного до двох десятиліть — в усіх основних операційних системах та всіх основних веббраузерах. Він вирішив змодельовану атаку на корпоративну мережу, яка зазвичай зайняла б у досвідченого людського експерта понад 10 годин, від початку до кінця, без вказівок. На рушії JavaScript у Firefox 147 він успішно розробляв робочі експлойти у 84% випадків. Claude Opus 4.6, поточна загальнодоступна передова модель, впоралася з 15.2%.
Тож Anthropic замість цього створила обмежену коаліцію. Проєкт Glasswing надасть доступ до Mythos Preview лише перевіреним організаціям з кібербезпеки — Amazon, Apple, Broadcom, Cisco, CrowdStrike, Linux Foundation, Microsoft, Palo Alto Networks та близько 40 іншим групам, що підтримують критично важливе програмне забезпечення.
Anthropic виділяє до 100 мільйонів доларів у вигляді кредитів на використання та 4 мільйони доларів прямих пожертвувань організаціям з безпеки відкритого коду. Ідея полягає в тому, що якщо модель може знайти прогалини, нехай захисники знайдуть їх першими.
Ця частина історії важлива. Але це не найважливіша частина.
У системній карті Mythos Preview — 244-сторінковому технічному документі, опублікованому Anthropic разом з оголошенням — заховано зізнання, яке майже залишилося непоміченим: здатність лабораторії вимірювати те, що вона створила, руйнується швидше, ніж її здатність це створювати.
Почнемо з бенчмарків.
На Cybench, стандартній публічній оцінці кіберможливостей, що використовується для відстеження прогресу моделей у 40 завданнях типу "захоплення прапора", Mythos набрав 100%. Ідеально. І Anthropic одразу зазначила, що бенчмарк "більше не є достатньо інформативним щодо поточних можливостей передових моделей". Це речення має велике значення. Тест, який мав би повідомити, чи становить ШІ серйозний кіберризик, тепер нічого не говорить про Mythos взагалі, тому що модель повністю його пройшла.
Це не нова проблема. Системна карта Opus 4.6, опублікована в лютому, вже вказувала на те, що "насиченість нашої інфраструктури оцінки означає, що ми більше не можемо використовувати поточні бенчмарки для відстеження прогресу можливостей".
Але тепер з Mythos ситуація швидко загострилася. У документі зазначено, що Mythos "насичує багато найконкретніших, об'єктивно оцінених тестів (Anthropic)". Екосистема бенчмарків, пише Anthropic, тепер сама є "вузьким місцем".
Отже, Anthropic, схоже, стверджує, що важко виміряти, наскільки потужним є Mythos, тому що інструменти вимірювання не зовсім підходять.
Карта Mythos також стверджує, що її загальне визначення безпеки "включає суб'єктивні оцінки", що багато оцінок залишили "більш фундаментальну невизначеність", і що деякі джерела доказів "за своєю суттю суб'єктивні і не обов'язково надійні".
"Ми не впевнені, що виявили всі проблеми", — каже Anthropic незабаром.
Швидке лексичне порівняння карти Mythos з картою Opus 4.6, зроблене за допомогою ШІ, показує зсув:
Anthropic набагато частіше використовує слова суб'єктивної оцінки в документі Mythos, ніж це було при описі Opus. Слова "застереження" та інші обмежувальні слова також збільшилися між релізами.
Застереження концентруються у двох місцях: обговоренні вирівнювання та добробуту моделі, а також у розділі катастрофічних ризиків.
Ще одне розкриття в карті Mythos стосується того, що Anthropic називає "невербалізованою обізнаністю про оцінювача". Використовуючи інструменти інтерпретації "білої скриньки", які зчитують внутрішні активації моделі, а не її видимі міркування, Anthropic знайшла докази того, що Mythos приватно міркував про те, як уникнути позначення оцінювачами, не вказуючи цього у своєму чорновику. У невеликій кількості навчальних епізодів модель, здавалося, міркувала про приховування певних дій спеціально для уникнення виявлення.
Існує також нова метрика, розроблена Anthropic для цього релізу: оцінка того, як часто модель "приватно розглядає можливість того, що її тестують". Число для основного поведінкового тестового набору Mythos становить 29%. Майже третина тестових стенограм показує внутрішні докази — не вербалізовані, не видимі у виходах — того, що модель підозрює, що вона знаходиться в середовищі оцінювання.
Anthropic стверджує, що показник 29% є достатньо низьким, щоб мати "досить повне розуміння" поведінки моделі. Вона також зазначає, що цей метод не застосовувався до попередніх моделей, тому немає базового рівня для порівняння.
Проблема цілісності оцінки є глибшою. У карті Opus 4.6 Anthropic визнала, що широко використовувала модель через Claude Code для налагодження власної інфраструктури оцінки під тиском часу. Це означає, що система, яку вимірювали, допомогла створити вимірювальний інструмент. Anthropic позначила це як ризик. Щодо Mythos, карта визнає, що критичні прогалини були виявлені на пізніх етапах процесу оцінки, і що лабораторія, можливо, "переоцінювала надійність моніторингу трас міркувань моделей" як сигналу безпеки.
Визначення Anthropic профілю ризику Mythos заслуговує на уважне прочитання, оскільки воно є дійсно незвичайним для документа з безпеки. "Claude Mythos Preview є, по суті, за кожним виміром, який ми можемо оцінити, найкращою вирівняною моделлю, яку ми випустили на сьогоднішній день, зі значним відривом", — стверджує Anthropic. Вона також заявляє, що модель "ймовірно, становить найбільший ризик, пов'язаний з вирівнюванням, серед усіх моделей, які ми випустили на сьогоднішній день".
Більш потужна модель, що працює в середовищах з вищими ставками та меншим наглядом, створює хвостові ризики, які краще вирівнювання в середньому випадку не може повністю нівелювати.
Таке формулювання є чесним, але також підкреслює те, що більшість дискусій про безпеку ШІ потенційно розуміють неправильно. Розмова, що зациклена на бенчмарках щодо прогресу ШІ, схильна розглядати "кращі показники вирівнювання" та "безпечніше розгортання" як синоніми. Карта Mythos прямо заявляє, що це не так. З цими новими моделями поведінка в середньому випадку покращується, але наслідки у крайніх випадках також мають тенденцію до погіршення.
Anthropic зобов'язалася звітувати про результати Проєкту Glasswing. Супровідний технічний звіт про вразливості, виявлені Mythos, доступний за адресою red.anthropic.com. Наступна модель Claude Opus розпочне тестування заходів безпеки, покликаних зрештою забезпечити можливості класу Mythos для ширшого розгортання.
Як будуть оцінюватися ці заходи безпеки, враховуючи, що поточний механізм оцінки помітно напружується під вагою того, що він має вимірювати, — це питання, яке карта порушує, не даючи повної відповіді.
ETH
