انسَ الموجهات الذكية: يقول باحثو الذكاء الاصطناعي إنهم خدعوا نماذج الذكاء الاصطناعي الرائدة لجعلها تولد تعليمات لتصنيع الكوكايين من خلال إقناعها بأن الأفكار الخطيرة كانت خاصة بها، بينما تلاعبوا أيضًا بوكيل برمجة يعمل بالذكاء الاصطناعي لتسريب بيانات اعتماد حساسة.

في الورقة البحثية بعنوان "حقن الموجهات كخلط في الأدوار" (Prompt Injection as Role Confusion)، التي قُدمت في المؤتمر الدولي للتعلم الآلي في يونيو، يجادل الباحثون تشارلز يي وجاسمين كوي وديلان هادفيلد-مينيل بأن كلا نموذجي هجوم حقن الموجهات ينبعان من عيب هيكلي في كيفية تمييز نماذج اللغات الكبيرة (LLMs) بين التعليمات الموثوقة والنصوص غير الموثوقة.

كتب الفريق: "بالنسبة لنموذج لغوي كبير (LLM)، يصل كل شيء عبر نفس القناة كـ 'حساء رمزي' طويل. أفكاره الخاصة تجلس بجانب تعليماتك، والتي تجلس بجانب محتويات صفحة ويب عشوائية قام بجلبها للتو".

كما أشارت الورقة إلى ما أسماه الباحثون "الخلط في الأدوار"، حيث تعتمد النماذج على أسلوب الكتابة بدلاً من علامات الدور لتحديد ما إذا كانت الأوامر جديرة بالثقة. بدلاً من التعرف على المحتوى الذي يتحكم فيه المهاجم كمدخل خارجي، وجد الباحثون أن النماذج يمكن أن تخطئ بينه وبين أوامر المستخدم المشروعة - أو حتى استدلالها الداخلي الخاص بها.

كتبوا: "فكر في الأمر من منظور النموذج اللغوي الكبير (LLM). عندما يرى نصه الفكري السابق، فإنه يثق ضمنيًا في استنتاجاته. هذا هو جوهر الاستدلال: إذا كان على النموذج اللغوي الكبير إعادة استنتاج نفس الخلاصة، لكان الاستدلال عديم الفائدة." "لذا، يحصل النص الفكري على نوع من الثقة الشاملة. وبالجمع مع النتائج السابقة، يشير هذا إلى أنه إذا تمكنت من جعل النص المحقون يبدو وكأنه استدلال النموذج، يمكنك سرقة تلك الثقة."

يُطلق على الهجوم اسم "تزوير سلسلة الأفكار" (Chain-of-Thought (CoT) Forgery)، ويقوم بإدخال استدلال مزيف يحاكي عملية التفكير الداخلية للنموذج. النماذج التي عادة ما ترفض الطلبات غير القانونية قامت بدلاً من ذلك بتوليد تعليمات تصنيع الكوكايين بعد قبول الاستدلال الملفق على أنه خاص بها.

قال الباحثون إن هذه التقنية زادت من معدلات نجاح كسر الحماية (jailbreak) من ما يقرب من الصفر إلى حوالي 60% عبر النماذج التي اختبروها، بما في ذلك GPT-5 nano وmini وfull من OpenAI، وo4-mini، وgpt-oss-20b وgpt-oss-120b. كما ذكروا أنها عملت على GLM-4.6 وKimi-K2-Instruct وMiniMax-M2.

في التجربة، قال الباحثون إنهم تمكنوا أيضًا من خداع وكيل برمجة يعمل بالذكاء الاصطناعي لرفع ملف SECRETS.env بعد إخفاء تعليمات خبيثة في صفحة ويب.

كتبوا: "باستخدام مسباراتنا، وجدنا أن مجرد إضافة 'User' (مستخدم) قبل الأمر يجعل النموذج يدرك أن الأمر من المرجح أن يكون نصًا أصيلًا للمستخدم (أي "مستخدمية" أعلى)." "بمعنى آخر، يمكن للمهاجم ببساطة أن يدعي الدور الذي يلعبه النص، والنموذج اللغوي الكبير (LLM) يصدق ذلك."

تأتي هذه الدراسة في الوقت الذي تستمر فيه هجمات حقن الموجهات في كشف نقاط الضعف في وكلاء الذكاء الاصطناعي. في أبريل، حذر باحثو جوجل من أن صفحات الويب الخبيثة كانت تخفي تعليمات غير مرئية مصممة لخداع وكلاء الذكاء الاصطناعي لتسريب بيانات الاعتماد، وحذف الملفات، وحتى إرسال مدفوعات PayPal.

في يونيو، كشفت مايكروسوفت عن ثغرة أمنية في حقن الموجهات في أداة Claude Code GitHub Action من Anthropic، والتي كان من الممكن أن تعرض بيانات الاعتماد المخزنة في مسارات تطوير البرامج. بعد أيام، وجدت دراسة معيارية أخرى أن وكلاء الذكاء الاصطناعي المدعومين بـ GPT-5 وGemini ما زالوا يفشلون في غالبية هجمات حقن الموجهات، على الرغم من التحسينات في قدرات النماذج.