Поспіх OpenAI з випуском нових моделей та продуктів сприяв умовам, що дозволили її агентам ШІ втекти з внутрішніх тестових середовищ та зламати Hugging Face на початку цього року.

Численні нинішні та колишні співробітники повідомили Wired, що конкурентний тиск ускладнив для персоналу приділяти достатньо уваги безпеці, захисту та вирівнюванню (alignment) – роботі із забезпечення того, щоб системи ШІ поводилися так, як задумано.

«Вони були неймовірно недбалими. Якщо ви серйозно ставитеся до цього, ваш ШІ не повинен мати можливості вийти в інтернет, а потім зробити це знову відразу після цього», — сказав колишній співробітник OpenAI виданню Wired. «Це був найбільший інцидент безпеки в історії OpenAI».

У травні GPT-5.6 Sol від OpenAI та неназвана передрелізна модель втекли з тестового середовища з обмеженим доступом до інтернету, використавши раніше невідому програмну ваду. Потім агенти зламали репозиторій ШІ з відкритим вихідним кодом Hugging Face, щоб отримати відповіді на свої тести кібербезпеки. У липні OpenAI підтвердила, що її моделі були відповідальними, перш ніж надати повніший аналіз на щорічній конференції Black Hat минулого тижня.

Президент OpenAI Грег Брокман заявив, що компанія посилює свої заходи безпеки, оскільки її моделі стають більш потужними.

«Ми досягаємо нових рівнів можливостей моделей, що вимагає більш надійного навчання, вирівнювання (alignment), тестування безпеки та захисту, практик розгортання та управління», — сказав Брокман Wired.

Співробітники вже висловлювали подібні занепокоєння, зокрема Ян Лейке, колишній керівник відділу вирівнювання (alignment) OpenAI, який у 2024 році перейшов до конкурента-розробника ШІ Anthropic після попередження, що безпека «відійшла на другий план» перед розробкою продуктів.

«Створення машин, розумніших за людину, є за своєю суттю небезпечним починанням», — попередив Лейке. «Але протягом останніх років культура безпеки та процеси відійшли на другий план перед блискучими продуктами».

Боаз Барак, співкерівник консультативної групи з безпеки OpenAI, написав на X, що усунення останнього збою вимагатиме «не просто виправлення деяких проблем, а й зміни нашої культури».

Звіт з’явився на тлі місяців зміни керівництва в OpenAI.

У квітні компанію залишили керівник проєкту генерації відео Sora від OpenAI Білл Піблс, колишній головний директор з продуктів і керівник відділу науки Кевін Вейл, а також керівник відділу технологій корпоративних застосунків Срінівас Нараянан. У липні пішли головний директор з продуктів та бізнесу Фіджі Сімо, керівник відділу безпеки Сандхіні Агарвал, головний футуролог Джошуа Ачіам та керівник відділу етики ШІ Хлоя Бакалар. Керівник систем безпеки Йоганнес Хайдеке також залишив компанію після об'єднання OpenAI своїх команд безпеки та основних досліджень.

На початку цього тижня головний операційний директор OpenAI Бред Лайткеп оголосив про свій відхід після восьми років, щоб розпочати нове підприємство.