قد تكون هلوسات الذكاء الاصطناعي أكثر من مجرد إجابات غير صحيحة — فقد تصبح وسيلة للمتسللين لاختراق أجهزة الكمبيوتر، وفقًا لبحث جديد صادر عن جامعة تل أبيب والتخنيون وإنويت.

في ورقة بحثية بعنوان "احذروا من شبكات البوت العميلة: هجمات برمجيات الإغراء غير المستهدفة والقابلة للتوسع عبر الاستيلاء الوهمي المعادي الشامل والقابل للنقل"، عرض الباحثون تقنية تستغل نماذج الذكاء الاصطناعي عندما تولد روابط مزيفة لمستودعات البرامج وموارد أخرى عبر الإنترنت.

كتب الباحثون: "إن التبني المتزايد لتطبيقات النماذج اللغوية الكبيرة (LLM) القائمة على الوكلاء قد أدخل تهديدًا جديدًا كان يُطلق عليه سابقًا "برمجيات الإغراء" (promptware)". "بينما أثبتت الأعمال السابقة أن الخصوم يمكنهم استغلال القنوات المباشرة لتطبيقات النماذج اللغوية الكبيرة لتطبيق برمجيات الإغراء في ظل نماذج تهديد ضعيفة، فإن العديد من التطبيقات لا توفر أي قنوات مباشرة يمكن استغلالها لحقن الأوامر التوجيهية (prompt injection) خارج الإنترنت."

يُعرف هذا الهجوم باسم الاستيلاء الوهمي المعادي أو "HalluSquatting"، ويتضمن التنبؤ بالموارد المزيفة التي يُحتمل أن تنشئها نماذج الذكاء الاصطناعي، وتسجيل تلك الأسماء، وإضافة تعليمات ضارة. إذا استعاد وكيل الذكاء الاصطناعي لاحقًا المورد الموهوم، فقد يتعامل مع المحتوى الذي يتحكم فيه المهاجم على أنه شرعي.

قال الباحثون إن التهديد يظهر مع تجاوز مساعدي الذكاء الاصطناعي مجرد الإجابة على الأسئلة واكتساب القدرة على التفاعل مع أجهزة الكمبيوتر—الوصول إلى الملفات، البحث في الويب، كتابة التعليمات البرمجية، وتشغيل الأوامر.

يمكن لتلك القدرات أن تخلق ثغرات أمنية عندما تتصرف الوكلاء بناءً على معلومات يستردونها دون تأكيد ما إذا كان المصدر حقيقيًا.

كتبوا: "لقد أظهرت الدراسات المستمرة أنواعًا مختلفة من هجمات برمجيات الإغراء (Promptware) ضد أنظمة واقعية، بما في ذلك ChatGPT، وGoogle Assistant، وCopilot، وتطبيقات إضافية متنوعة". "أظهرت هذه الأعمال أن برمجيات الإغراء يمكن أن تؤدي إلى آثار مالية وعلى الخصوصية والسلامة."

حذر الباحثون من أن هذه التقنية يمكن أن تسمح للمهاجمين ببناء شبكات بوت تعمل بالذكاء الاصطناعي. وتشير شبكة البوت (botnet) إلى شبكة من أجهزة الكمبيوتر أو الأجهزة المصابة التي يتحكم بها مهاجم عن بُعد. تُستخدم شبكات البوت بشكل شائع في الهجمات السيبرانية، بما في ذلك هجمات حجب الخدمة (denial-of-service)، وتعدين العملات المشفرة، وتوزيع البرامج الضارة، وحملات برامج الفدية.

في الاختبارات، وجد الباحثون أن هلوسات الموارد التي يولدها الذكاء الاصطناعي حدثت بمعدلات تصل إلى 85% في سيناريوهات استنساخ المستودعات و100% في اختبارات تثبيت المهارات.

قام الفريق بتقييم التقنية ضد مساعدي ووكلاء ترميز الذكاء الاصطناعي، بما في ذلك Cursor، وGitHub Copilot، وGemini CLI، وOpenClaw.

يشبه "الاستيلاء الوهمي" (HalluSquatting) الاستيلاء على الأخطاء الإملائية (typosquatting)، وهو تكتيك هجوم سيبراني يسجل فيه المهاجمون أسماء نطاقات تشبه المواقع الإلكترونية أو حزم البرامج الشرعية لخداع المستخدمين. وبدلاً من استغلال أخطاء الكتابة البشرية، يستهدف "الاستيلاء الوهمي" الأخطاء التي ترتكبها نماذج الذكاء الاصطناعي.

يأتي هذا الخبر بينما يواصل الباحثون اختبار كيفية تمكن المهاجمين من التلاعب بوكلاء الذكاء الاصطناعي.

في أبريل، كشف باحثو جوجل عن مواقع ويب ضارة مصممة لاختطاف وكلاء الذكاء الاصطناعي من خلال هجمات حقن الأوامر التوجيهية غير المباشرة (indirect prompt injection attacks)، بما في ذلك محاولات سرقة كلمات المرور، وحذف الملفات، والتلاعب بالمدفوعات. أظهرت دراسة منفصلة حول هجوم "CopyPasta" كيف يمكن للأوامر التوجيهية المخفية داخل ملفات المطورين التلاعب بمساعدي ترميز الذكاء الاصطناعي لنشر تعليمات برمجية ضارة.

في يونيو، أبلغ مستخدم OpenClaw عن مواجهة أكثر من 6000 محاولة من مهاجمين يحاولون خداع وكيل الذكاء الاصطناعي لتسريب معلومات حساسة.