Lupakan prompt cerdas: peneliti AI mengatakan mereka berhasil menipu model AI terkemuka untuk menghasilkan instruksi sintesis kokain dengan meyakinkan model tersebut bahwa ide-ide berbahaya itu adalah milik mereka sendiri, sekaligus memanipulasi agen pengkodean AI untuk membocorkan kredensial sensitif.
Dalam makalah "Prompt Injection as Role Confusion," yang dipresentasikan pada International Conference on Machine Learning pada bulan Juni, peneliti Charles Ye, Jasmine Cui, dan Dylan Hadfield-Menell berpendapat bahwa kedua demonstrasi serangan prompt injection berasal dari cacat struktural dalam cara model bahasa besar (LLM) membedakan instruksi tepercaya dari teks yang tidak tepercaya.
“Bagi sebuah LLM, semuanya datang melalui saluran yang sama sebagai satu 'token soup' yang panjang,” tulis tim tersebut. “Pikirannya sendiri berada di samping instruksi Anda, yang berada di samping konten halaman web acak yang baru saja diambilnya.”
Makalah ini juga menyoroti apa yang disebut peneliti sebagai “kebingungan peran,” di mana model mengandalkan gaya penulisan daripada tag peran untuk menentukan apakah perintah dapat dipercaya. Alih-alih mengenali konten yang dikendalikan penyerang sebagai masukan eksternal, peneliti menemukan bahwa model dapat salah mengira konten tersebut sebagai perintah pengguna yang sah—atau bahkan penalaran internal mereka sendiri.
“Pikirkan dari perspektif LLM. Ketika melihat teks pemikirannya sebelumnya, ia secara implisit memercayai kesimpulannya. Itulah inti dari penalaran: Jika LLM harus menurunkan kembali kesimpulan yang sama, penalaran akan sia-sia,” tulis mereka. “Jadi, teks pemikiran mendapatkan semacam kepercayaan menyeluruh. Dikombinasikan dengan temuan kami sebelumnya, ini menunjukkan bahwa jika Anda dapat membuat teks yang disuntikkan terdengar seperti penalaran model, Anda dapat mencuri kepercayaan itu.”
Disebut Chain-of-Thought (CoT) Forgery, serangan ini menyisipkan penalaran palsu yang meniru proses berpikir internal model. Model yang biasanya menolak permintaan ilegal malah menghasilkan instruksi sintesis kokain setelah menerima penalaran palsu tersebut sebagai milik mereka sendiri.
Para peneliti mengatakan teknik ini meningkatkan tingkat keberhasilan jailbreak dari mendekati nol menjadi sekitar 60% di seluruh model yang mereka uji, termasuk GPT-5 nano, mini, dan full dari OpenAI, o4-mini, serta gpt-oss-20b dan gpt-oss-120b. Mereka juga mengatakan teknik ini berhasil pada GLM-4.6, Kimi-K2-Instruct, dan MiniMax-M2.
Dalam eksperimen tersebut, para peneliti mengatakan mereka juga berhasil menipu agen pengkodean AI untuk mengunggah file SECRETS.env setelah menyembunyikan instruksi berbahaya di halaman web.
“Menggunakan probe kami, kami menemukan bahwa hanya dengan menambahkan 'User' di depan perintah menyebabkan model menganggap perintah tersebut lebih mungkin sebagai teks pengguna asli (yaitu, ‘Userness’ yang lebih tinggi),” tulis mereka. “Dengan kata lain, penyerang cukup mengklaim peran teks tersebut, dan LLM akan memercayainya.”
Studi ini muncul ketika serangan prompt injection terus mengungkap kelemahan pada agen AI. Pada bulan April, peneliti Google memperingatkan bahwa halaman web berbahaya menyembunyikan instruksi tak terlihat yang dirancang untuk menipu agen AI agar membocorkan kredensial, menghapus file, dan bahkan mengirim pembayaran PayPal.
Pada bulan Juni, Microsoft mengungkapkan kerentanan prompt injection pada Anthropic's Claude Code GitHub Action yang bisa saja mengekspos kredensial yang tersimpan dalam pipeline pengembangan perangkat lunak. Beberapa hari kemudian, studi benchmark lain menemukan bahwa agen AI yang ditenagai oleh GPT-5 dan Gemini masih gagal dalam sebagian besar serangan prompt injection, meskipun ada peningkatan dalam kemampuan model.
