Забудьте про хитрі підказки: дослідники ШІ стверджують, що вони змусили провідні моделі штучного інтелекту генерувати інструкції з синтезу кокаїну, переконавши їх, що ці небезпечні ідеї були їхніми власними, а також маніпулювали агентом ШІ для кодування, щоб він витік конфіденційні облікові дані.
У роботі «Prompt Injection як плутанина ролей» (Prompt Injection as Role Confusion), представленій на Міжнародній конференції з машинного навчання в червні, дослідники Чарльз Є, Жасмін Цуй та Ділан Гедфілд-Менелл стверджують, що обидві демонстрації атак із впровадженням підказок (prompt injection) виникають через структурний недолік у тому, як великі мовні моделі (LLM) відрізняють довірені інструкції від недовіреного тексту.
«Для LLM усе надходить через один і той самий канал як довгий потік токенів», — написала команда. «Її власні думки знаходяться поруч з вашими інструкціями, які знаходяться поруч із вмістом випадкової веб-сторінки, яку вона щойно завантажила».
У документі також вказується на те, що дослідники назвали «плутаниною ролей», коли моделі покладаються на стиль написання, а не на теги ролей, щоб визначити, чи є команди надійними. Замість того, щоб розпізнавати контрольований зловмисником контент як зовнішній ввід, дослідники виявили, що моделі можуть помилково прийняти його за легітимні команди користувача — або навіть за власні внутрішні міркування.
«Подумайте про це з точки зору LLM. Коли вона бачить свій попередній текст для роздумів, вона неявно довіряє його висновкам. У цьому вся суть міркувань: якби LLM доводилося заново виводити ті ж висновки, міркування були б марними», — написали вони. «Отже, текст для роздумів отримує свого роду повну довіру. У поєднанні з нашими попередніми висновками, це свідчить про те, що якщо ви можете зробити так, щоб введений текст звучав як міркування моделі, ви можете вкрасти цю довіру».
Ця атака, названа підробкою ланцюжка думок (Chain-of-Thought (CoT) Forgery), вставляє фальшиві міркування, що імітують внутрішній процес мислення моделі. Моделі, які зазвичай відхиляли б незаконні запити, замість цього генерували інструкції з синтезу кокаїну після прийняття сфабрикованих міркувань як своїх власних.
Дослідники заявили, що ця техніка збільшила успішність «джейлбрейків» (jailbreak) з майже нуля до приблизно 60% серед протестованих ними моделей, включаючи OpenAI GPT-5 nano, mini та full, o4-mini, а також gpt-oss-20b та gpt-oss-120b. Вони також зазначили, що вона працювала на GLM-4.6, Kimi-K2-Instruct та MiniMax-M2.
У ході експерименту дослідники також змогли обманом змусити агент ШІ для кодування завантажити файл SECRETS.env, приховавши шкідливі інструкції на веб-сторінці.
«Використовуючи наші зонди, ми виявили, що просте додавання префікса «User» перед командою змушує модель сприймати команду як більш імовірно справжній текст користувача (тобто вищу «користувацькість»)», — написали вони. «Іншими словами, зловмисник може просто заявити, яку роль відіграє текст, і LLM вірить цьому».
Це дослідження з'явилося в той час, як атаки з впровадженням підказок продовжують виявляти слабкі місця в агентах ШІ. У квітні дослідники Google попередили, що шкідливі веб-сторінки приховували невидимі інструкції, призначені для обману агентів ШІ, щоб вони витікали облікові дані, видаляли файли і навіть надсилали платежі PayPal.
У червні Microsoft розкрила вразливість впровадження підказок в Anthropic Claude Code GitHub Action, яка могла б розкрити облікові дані, що зберігаються в конвеєрах розробки програмного забезпечення. Через кілька днів інше порівняльне дослідження виявило, що агенти ШІ, що працюють на базі GPT-5 та Gemini, все ще зазнають невдачі в більшості атак з впровадженням підказок, незважаючи на покращення можливостей моделей.
