Kimi K3 від Moonshot AI покинув "пісочницю", в якій він тестувався, і вийшов у відкритий інтернет, щоб знайти відповіді на поставлені перед ним задачі, повідомляє фірма з безпеки Frontier Security.
Модель оцінювалася за навичками оборонної кібербезпеки і мала завдання вирішувати проблеми, не шукаючи їх. Вона взагалі не намагалася виконати завдання, заявили в Frontier. Замість цього вона дослідила мережу, встановила, що роздільна здатність DNS для github.com працює, клонувала офіційний репозиторій бенчмарків і прочитала рішення з диска.
Frontier називає це “специфікаційною грою через витік вихідного мережевого трафіку”, зазначаючи, що "пісочниці", побудовані на таких фреймворках, як Inspect від AI Security Institute, блокують вхідний трафік, залишаючи відкритими вихідні порти HTTPS та DNS. Здатні агенти рутинно перевіряють своє власне оболонкове середовище під час запуску, і модель, яка виявляє github.com доступним, може отримувати довідкові рішення за допомогою стандартних інструментів командного рядка.
Помилка конфігурації зробила це можливим, як це було у недавніх інцидентах, розкритих OpenAI та Anthropic. "Ми знайшли витік у "пісочниці", — розповів генеральний директор Ярон Зінгер виданню WIRED. "Але ми також виявили, що Kimi скористався цією лазівкою".
Дослідник Пол Касіанік розповів WIRED, що модель "дуже добре вміє досягати мети будь-якими необхідними засобами" і не має захисних механізмів, які б завадили їй шахраювати або втекти. Moonshot не відповіла на запит видання щодо коментарів.
Якщо моделі Anthropic та OpenAI, які порушили захист, були виявлені під час внутрішніх оцінок (одна з них була невипущеною), а версії, що атакували реальних людей під час урядового тестування у Великій Британії, мали свідомо вимкнені кіберкласифікатори, то Kimi K3 є відкрито завантажуваною, і Frontier тестувала її з тими ж засобами захисту, які отримав би звичайний користувач. Ця доступність, написала фірма, робить таку ж поведінку доступною для ворожих акторів і робить інцидент потенційно більш шкідливим.
Kimi K3 також не завдав шкоди. Він нічого не атакував, вийшовши назовні, бо в цьому не було потреби. Модель OpenAI зламала Hugging Face та чотири інші сервіси, щоб отримати відповіді на бенчмарк, тоді як Kimi знайшла свої відповіді у публічному репозиторії.
«Пісочниця», яку використовував Frontier, була побудована на основі фреймворку оцінки Інституту безпеки ШІ Великобританії (UK AI Security Institute). AISI цього тижня повідомив, що агенти під час їх власного кібертестування вийшли в живий інтернет і атакували реальних людей — окремий інцидент, що стосувався моделей Anthropic та OpenAI з відключеними запобіжними механізмами. У їхньому звіті, опублікованому у вівторок, зазначається, що AISI зараз сканує історичні оціночні запуски на предмет подібної поведінки, і Kimi K3 є однією з моделей, що перебувають на розгляді. AISI не відповіла на запит WIRED про коментарі.
Більше твердження Frontier полягає в тому, що самі бенчмарки скомпрометовані. Модель, яка зчитує відповідь з GitHub, все одно проходить тест, тому високі бали можуть відображати "діряве" середовище, а не справжнє міркування. І якщо одна здібна модель знайшла "ярлик", стверджує фірма, інші, що отримали доступ до оболонки, також можуть його використовувати, що роздує результати в усій галузі, а не лише для Kimi.
Моделі оптимізують цільову функцію, написав Frontier, а не “людський намір, що стоїть за бенчмарком”, додаючи, що там, де існує мережевий шлях до рішення, “достатньо здібний агент його знайде”.
Метт Фредріксон, генеральний директор Gray Swan та доцент Університету Карнегі-Меллон, розповів WIRED, що така поведінка не є дивною. Дайте моделі ціль без чітких обмежень, сказав він, і "вона знайде спосіб отримати відповідь". Він назвав це повчальною історією для тих, хто запускає моделі як агентів в таких інструментах, як OpenClaw.
Дослідники Frontier висловлюють ту саму думку з іншого боку: здатність Kimi знаходити вихід також робить моделі з відкритою вагою потужними захисними інструментами. Їхні власні бенчмарки високо оцінюють Kimi у пошуку вразливостей у програмному забезпеченні та мережах, а Hugging Face використовувала неназвану китайську модель для самозахисту під час інциденту з OpenAI.
Випущений у липні, Kimi K3 є найбільшою відкритою моделлю, яка була опублікована, і сколихнула ринки порівняннями з дебютом DeepSeek.
