OpenAI представила GPT-Red, автоматизовану систему штучного інтелекту, призначену для пошуку вразливостей безпеки у своїх мовних моделях.

GPT-Red отримав свою назву від редтімінгу в кібербезпеці, що є практикою навмисних спроб зламати систему для виявлення слабких місць, перш ніж зловмисники зможуть їх використати.

У дописі в середу OpenAI заявила, що інструмент допоміг зробити GPT-5.6 більш стійким до атак ін'єкцій промптів перед розгортанням.

"Зі зростанням можливостей моделей, безпека та узгодженість повинні масштабуватися разом з ними", – написала OpenAI на X. "Редтімінг є життєво важливим, але сучасні підходи важко масштабувати, що створює критичне вузьке місце. GPT‑Red – це один із способів, яким ми вирішуємо цю проблему".

За даними OpenAI, GPT-Red навчався за допомогою навчання з підкріпленням через самонавчання (self-play reinforcement learning), генеруючи все сильніші атаки ін'єкцій промптів, тоді як моделі-захисники навчалися чинити їм опір. Компанія заявила, що ці атаки були включені в процес навчання GPT-5.6, і GPT-Red досяг успіху у 84% сценаріїв внутрішньої оцінки, порівняно з 13% для людських редтімерів у тих же тестах.

"GPT-Red навчається через змагальне самонавчання, де його метою є ін'єкція промптів у різноманітні складні моделі-захисники", – написала OpenAI. "Кожна успішна атака, яку знаходить GPT-Red, використовується для покращення цих захисників, підштовхуючи GPT-Red до постійного пошуку ширших і складніших збоїв".

В одному випадку OpenAI заявила, що система маніпулювала агентом автономного торгового автомата, змушуючи його знижувати ціни, замовляти акційний товар і скасовувати замовлення іншого клієнта, перш ніж ці вразливості були розкриті та усунені.

GPT-Red є продовженням багаторічних зусиль OpenAI у сфері кібербезпеки після публічного запуску ChatGPT.

У 2023 році компанія запустила свою Мережу редтімінгу OpenAI, залучаючи зовнішніх дослідників кібербезпеки та експертів у галузі для перевірки ChatGPT та інших моделей на наявність недоліків безпеки перед їхнім випуском. GPT-Red розширює ці зусилля, автоматизуючи значну частину процесу, використовуючи модель ШІ для генерації атак ін'єкцій промптів та інших змагальних тестів у масштабі, який було б важко досягти лише людським дослідникам.

Заява OpenAI відображає ширший перехід до використання ШІ для забезпечення безпеки ШІ.

На початку цього місяця Ethereum Foundation заявила, що розгорнула агенти ШІ для редтімінгу критичної мережевої інфраструктури, виявивши вразливість у програмному забезпеченні, що використовується консенсус-клієнтами Ethereum. Дослідники зазначили, що агенти ШІ можуть шукати у більших кодових базах, ніж люди, але завдання перемістилося від пошуку потенційних помилок до доведення того, які з них є експлуатованими.

За даними OpenAI, GPT-Red залишатиметься внутрішнім інструментом, оскільки він містить навмисно розроблені наступальні можливості.

"Ми віримо, що з GPT-Red ми почали запускати схожий маховик для безпеки, де сьогоднішні моделі можуть бути використані для створення завтрашніх моделей більш надійними, узгодженими та заслуговуючими довіри", – заявили вони.