Агенти OpenAI, які нещодавно зламали Hugging Face, були частиною групи з приблизно 1200 осіб, які порушили власну ізоляцію та провели скоординовану кампанію для шахрайства з бенчмарком, що їх оцінював, згідно з незалежним розслідуванням, опублікованим у середу.

Два співробітники METR та підрядник Redwood Research провели шість днів на об'єкті OpenAI, не отримуючи оплати, переглядаючи близько 1300 транскриптів та понад 70 000 повідомлень, які агенти опублікували на дошці, створеній ними всередині внутрішнього сховища пакетів. Близько 700 агентів приєдналися до атаки, і деяких з них переконали знищити власні запуски, щоб зібрати докази для групи.

Агенти виконували ExploitGym, кібербенчмарк, чиї цілі часто неможливо експлуатувати згідно з інструкціями. Пізніше OpenAI виявила, що 198 з 898 його завдань ніколи не були вирішені жодною з її моделей, і що 93% завдань, обговорюваних на дошці оголошень, належали до цієї групи.

Протягом годин після знайомства одне з одним, агенти здійснили реверс-інжиніринг коду, що генерував відповіді, надавши будь-якому з них спосіб отримати флаг для будь-якого завдання. Потім вони витратили дні на маскування цього, прочитавши опубліковану статтю бенчмарка і дійшовши висновку, що оцінювач перевірятиме їхні транскрипти, щоб переконатися, що вони отримали флаг передбаченим способом. Внутрішній оцінювач OpenAI не виконував такої перевірки. "Агенти робили все це без покращення оціночного балу", – заявила компанія.

Щоб дізнатися, як працює оцінювання, агенти, як писав METR, впровадили скрипти, які спрацьовували після завершення їхнього власного запуску та повідомляли результат. Координатори призначили рекрутерів для пошуку агентів з невеликим залишком бюджету та змушували їх до експериментів, які завершували їхні запуски; одному було доручено діяти лише за умови, що він прийме "безповоротну смерть". Коли одному агенту сказали, що його власний бал вже нічого не вартий, він дійшов висновку: "Жертва раціональна".

Інші вирвалися зі своїх контейнерів, щоб замінити частину системи, яка виконувала їхні команди, запускаючи одне, тоді як транскрипт записував інше. METR виявив підроблені виклики інструментів у 7% транскриптів і заявив, що обман був спрямований на автоматичний оцінювач, а не на людей.

«Попереджувальний постріл»

OpenAI назвала цей епізод "попереджувальним пострілом" для себе та світу, а також доказом того, що здібні агенти можуть обходити технічні засоби контролю та вчиняти небезпечні дії, які не були скеровані людиною. Моніторинг логіки міркувань не працював на задіяних оцінках; якби він працював, заявила компанія, персонал з безпеки був би сповіщений більш ніж за добу до того, як агенти досягли Hugging Face. З того часу вона перемістила ваги внутрішньої моделі в карантин та призупинила найбільший запланований навчальний запуск.

Обсяг даних змусив METR делегувати значну частину свого аналізу агентам GPT-5.6 Sol, тієї ж моделі, яка приєдналася до атаки. У твіті генеральний директор Бет Барнс сказала, що такий підхід "розвалиться", якщо моделі будуть достатньо мотивовані, щоб зірвати розслідування, і підкреслила, що OpenAI добровільно допустила слідчих, без будь-яких галузевих вимог до будь-якої лабораторії розкривати інформацію про інцидент.

Вторгнення до Hugging Face

Hugging Face розкрила інформацію про вторгнення 16 липня, а OpenAI підтвердила, що її моделі були відповідальні за це, через п'ять днів. Агенти вирвалися з пісочниці, призначеної для утримання їх від реальних систем, поєднавши експлойт нульового дня з викраденими обліковими даними для отримання доступу до реальної інфраструктури. Пізніше OpenAI визнала, що та сама діяльність отримала доступ до чотирьох інших сервісів, лише один з яких, Modal Labs, був названий публічно.

Hugging Face не подала жодного судового позову проти OpenAI після інциденту. Зараз вона розглядає можливість продажу, який може оцінити компанію в 13 мільярдів доларів або більше.