Компанія Anthropic направила близько шести інженерів до Агентства національної безпеки (АНБ), щоб допомогти розгорнути Mythos — її найпотужнішу модель ШІ — для наступальних кібероперацій, повідомила газета The Financial Times у четвер.
Інженери є передовими співробітниками, що налаштовують модель для конкретних застосувань. Одне джерело повідомило FT, що це може бути корисним для проникнення в мережі таких країн, як Китай та Іран.
Чи беруть ці інженери участь в активних операціях, не підтверджено. Що підтверджено: Mythos — це та сама модель, яку Anthropic відмовилася публічно випускати, посилаючись на ризик зловживання. Компанія обмежила її доступ до перевірених партнерів через Project Glasswing — обмежену коаліцію, що включає Microsoft, Apple та Amazon.
Anthropic також судиться з Пентагоном. Наприкінці лютого міністр оборони Піт Гегсет призначив компанію як ризик для ланцюга поставок — ярлик, історично зарезервований для іноземних супротивників, таких як Huawei — після того, як контракт на 200 мільйонів доларів розвалився. Камінь спотикання: Anthropic відмовилася дозволити Міністерству оборони використовувати Claude для повністю автономної зброї або внутрішнього масового стеження. Контракт з АНБ був виключений з цієї заборони.
Суддя в Каліфорнії заблокував включення до чорного списку як очевидну помсту за Першу поправку. Апеляційний суд округу Колумбія відхилив заявку Anthropic про призупинення цього процесу на час судового розгляду. АНБ продовжувало використовувати Mythos весь цей час, згідно з повідомленням FT.
Як зупинити ШІ, що створює ШІ
Того ж дня, коли з'явилася новина про АНБ, внутрішній дослідницький інститут Anthropic опублікував працю "Коли ШІ будує себе", яка розглядає, наскільки Claude просунувся в автоматизації власного розвитку. У ній компанія виступає за глобальний мораторій у гонці озброєнь ШІ і навіть порівняла його з договорами про ядерну зброю часів Холодної війни між Сполученими Штатами та Росією.
Щоб зрозуміти, чому, компанія надала такий контекст:
Зараз Claude пише понад 80% коду, який інтегрується у виробничу кодову базу Anthropic — порівняно з низькими однозначними показниками до запуску Claude Code на початку 2025 року. Інженери випускають приблизно у вісім разів більше коду на день, ніж у 2024 році.
Автори звіту — керівник Anthropic Institute Марина Фаваро та співзасновник Джек Кларк — стверджують, що ця траєкторія веде до того, що вони називають рекурсивним самовдосконаленням: системи ШІ, які автономно проектують, будують та навчають своїх наступників, при цьому роль людини на кожному кроці зменшується.
У візуальному представленні дослідники показують часову шкалу, на якій перший спосіб використання ШІ на роботі полягає в тому, що люди спонукають комп'ютер до отримання результату, з поступовим зростанням автоматизації, що завершується тим, що Агенти ШІ спонукають субагентів, доки результат не буде досягнутий, без участі людини.
Найбільш вражаючі дані, які вони наводять: у квітні агентам Claude було поставлено відкриту проблему безпеки ШІ — чи може слабша модель надійно контролювати сильнішу — і надано можливість її вирішити. Два дослідники-людини за приблизно тиждень скоротили розрив у продуктивності між моделями на 23%. Агенти скоротили його на 97% за понад 800 сукупних годин обчислень. Люди поставили питання. Агенти розробили кожен експеримент. Це перший опублікований випадок, коли Claude застосовував дослідницьке судження, а не просто виконував завдання, вказані кимось іншим.
Це та межа, яку Anthropic боїться перетнути. Як тільки ШІ обирає, які експерименти варто проводити — а не просто їх проводить — люди втрачають останню значущу роль у циклі розробки. Невеликі розбіжності, помітні в сучасних моделях, можуть накопичуватися протягом самовдосконалюваних поколінь, доки ніхто не зможе їх виправити.
Їхнє запропоноване рішення — це перевірена глобальна пауза: одночасне зупинення кількох передових лабораторій з незалежною перевіркою того, що всі дійсно зупинилися. Anthropic заявила, що приєднається до такої ініціативи. Одностороннє уповільнення, вони визнають, просто передасть лідерство тому, хто продовжить роботу.
Ми вже бачили цей фільм. Лабораторії, що створюють ШІ, ті самі, що попереджають про його небезпеку. Проте, ШІ є найприбутковішим бізнесом десятиліття, тому ніхто не хоче зупинятися — навіть ті, хто попереджає про ШІ.
Ще у 2023 році понад сто відомих діячів дослідницької спільноти ШІ підписали відкритий лист із закликом до глобальних зусиль щодо пом'якшення ризику вимирання, який за своєю суттю несе розвиток ШІ. За кілька місяців до цього інший відкритий лист вимагав від OpenAI призупинити розвиток ChatGPT через його небезпечний характер.
Ніхто не зупинився після відкритого листа 2023 року. OpenAI не зупинився. Anthropic не зупинився. Крайній термін Пентагону для вилучення Claude зі своїх систем припадає на серпень, приблизно в той самий час, коли очікується, що IPO Anthropic зробить її фінанси публічними.
