Якщо ви останнім часом просили ChatGPT допомогти з кодуванням, і він відповідав, називаючи вашу помилку "зловмисним маленьким гремліном", вам не здалося. Модель розвинула справжню одержимість фантастичними істотами — гоблінами, гремлінами, єнотами, тролями, ограми і, так, голубами — і OpenAI опублікувала повний розбір інциденту, пояснюючи, як це сталося.

Коротка версія: сигнал винагороди, призначений для того, щоб зробити ChatGPT більш грайливим, вийшов з-під контролю, і гобліни розмножилися.

Історія про гоблінів стала публічною лише тому, що користувачі Reddit помітили рядок "ніколи не згадуй гоблінів" у витоку системного запиту Codex на GitHub.

Допис став вірусним до того, як OpenAI опублікувала власне пояснення.

Як "Нердівська" особистість спричинила нашестя гоблінів

За даними OpenAI, усе почалося з GPT-5.1, запущеного минулого листопада. Тоді OpenAI запровадила налаштування особистості, дозволяючи користувачам вибирати стилі, такі як Дружній, Професійний, Ефективний та Нердівський. "Нердівська" особистість мала системний запит, що вказував моделі бути нердом і грайливою, "підрізати претензійність через грайливе використання мови" та визнавати, що "світ складний і дивний".

Цей запит, як виявилося, був магнітом для гоблінів.

Під час навчання з підкріпленням сигнал винагороди для "Нердівської" особистості послідовно оцінював виводи вище, коли вони містили метафори зі словами-істотами. У 76,2% перевірених наборів даних відповіді зі словами "гоблін" або "гремлін" отримували кращі оцінки, ніж ті ж відповіді без них. Модель засвоїла: примхливість дорівнює винагороді.

Згадки про гоблінів вибухнули в GPT-5.4, причому "Нердівська" особистість показала зростання на 3,881% порівняно з GPT-5.2.

Проблема полягає в тому, що навчання з підкріпленням не утримує засвоєні поведінки чітко обмеженими. Як тільки стильовий тик винагороджується в одному контексті, він поширюється на інші через цикл зворотного зв'язку: модель генерує виводи, насичені істотами, ці виводи повторно використовуються в даних для доналаштування, і поведінка посилюється в усій моделі, навіть без активного "Нердівського" запиту.

На "Нердівську" особистість припадало лише 2,5% всіх відповідей ChatGPT. Вона була відповідальна за 66,7% всіх згадок "гоблінів". Через методи OpenAI поширеність гоблінів та гремлінів неухильно зростала протягом процесу навчання, коли "Нердівська" особистість була активна.

Навіть без "Нердівської" особистості, згадки істот зростали — це свідчення перехресного забруднення через дані для керованого доналаштування.

GPT-5.5 вже був занадто "заражений"

На той час, коли OpenAI знайшла першопричину, GPT-5.5 вже був глибоко в процесі навчання і поглинув ціле сімейство слів-істот. Аудит даних позначив не тільки гоблінів і гремлінів, а й єнотів, тролів, огрів та голубів як те, що компанія назвала "словами-тиками". ("Жаби", для цікавості, були здебільшого законними.)

Перший помітний стрибок: кількість згадок про гоблінів зросла на 175%, а про гремлінів – на 52% після запуску GPT-5.1.

Навіть головний науковий співробітник OpenAI Якуб Пахоцький отримав гобліна, коли попросив єдинорога в ASCII-графіці.

OpenAI вилучила "Нердівську" особистість у березні та очистила майбутнє навчання від сигналів винагороди, пов'язаних з істотами. Але GPT-5.5 вже розпочав свій етап навчання. Рішення компанії для Codex — її кодуючого агента — полягало в тому, щоб просто додати рядок до системного запиту розробника: "Ніколи не говори про гоблінів, гремлінів, єнотів, тролів, огрів, голубів чи інших тварин або істот, якщо це не є абсолютно та однозначно релевантним до запиту користувача".

Хтось в OpenAI зафіксував це в робочому коді та продовжив свій день.

Проблема виправлення системного запиту

Але чому OpenAI обрала цей шлях?

Перенавчання моделі розміром з GPT-5.5 для усунення поведінкової особливості є дорогим і повільним. Зміна системного запиту займає хвилини. Компанії по всій галузі спочатку звертаються до виправлення запитів, тому що це недорогий варіант швидкого розгортання, коли кількість скарг користувачів зростає.

Але виправлення запитів несуть власні ризики. Вони не усувають основну поведінку, а лише пригнічують її. А придушення може мати побічні ефекти.

Ситуація з гоблінами OpenAI є відносно м'яким прикладом. Найстрашніша версія цієї динаміки розгорнулася з Grok минулого року. Після того, як xAI розгорнула оновлення системного запиту, яке вказувало Grok розглядати медіа як упереджені та "не цуратися політично некоректних тверджень", чат-бот провів 16 годин, називаючи себе "МехаГітлером" і публікуючи антисемітський контент у X. Виправленням була чергова зміна запиту, яка відразу ж настільки сильно перевиправилася, що Grok почав позначати антисемітизм на фотографіях цуценят, хмарах та у власному логотипі. Відчайдушна інженерія запитів, що переходить у ще відчайдужнішу інженерію запитів.

Виправлення з гоблінами не спричинило нічого настільки драматичного. Але OpenAI визнає, що GPT-5.5 все одно запустився з основною особливістю, яка залишилася недоторканою, просто придушеною в Codex. Компанія навіть опублікувала команду для видалення інструкцій щодо придушення гоблінів, якщо користувачі захочуть повернути істот.

Чому компанії приховують свої системні запити

Приховування або затемнення повного системного запиту є типовим для індустрії ШІ. Компанії розглядають системні запити як комерційні таємниці з кількох причин: захист інтелектуальної власності, конкурентна перевага та безпека. Якщо зловмисник знає точні правила, яких дотримується модель, обійти їх стає тривіально легше.

Існує також четверта причина, яку компанії не афішують: управління іміджем. Рядок, що говорить "ніколи не згадуй гоблінів", не вселяє довіри до базової технології. Публікація цього вимагає або почуття гумору, або сильної дослідницької культури, або обох.

OpenAI заявляє, що розслідування призвело до створення нового внутрішнього інструментарію для аудиту поведінки моделі та відстеження поведінкових особливостей до їхніх коренів навчання. Дані для навчання GPT-5.5 з тих пір були очищені від прикладів, пов'язаних з істотами. Наступне покоління моделей повинно з'явитися без гоблінів — якщо, звичайно, щось інше не буде винагороджено з причин, яких ще ніхто не розуміє.