اكتشف باحثون جامعيون في الصين طريقة لتغيير سلوك نماذج الذكاء الاصطناعي الصوتي عن طريق تضمين أوامر مخفية داخل مقاطع صوتية لا يسمعها البشر. يمتلك الهجوم معدل نجاح يصل إلى 96%، وفقًا لبحث صادر عن جامعة تشجيانغ.
يستهدف أسلوب الهجوم، الذي قُدِّم في الندوة السابعة والأربعين لـ IEEE حول الأمن والخصوصية في سان فرانسيسكو، نماذج اللغة الصوتية الكبيرة (LALMs)، التي يمكنها معالجة الأوامر المنطوقة والتفاعل مع الأدوات والتطبيقات الخارجية.
قال المؤلف الرئيسي مينغ تشن، طالب الدكتوراه بجامعة تشجيانغ، في بيان: "يستغرق تدريب هذه الإشارة نصف ساعة فقط، وبعد ذلك، لأن هذه الإشارة لا تعتمد على السياق، يمكنك استخدامها لمهاجمة النموذج المستهدف متى شئت، بغض النظر عما يقوله المستخدم".
يعمل الهجوم عن طريق تعديل القيم الرقمية داخل الموجة الصوتية الرقمية بطرق لا يمكن للبشر إدراكها ولكنها لا تزال تؤثر على كيفية تفسير نماذج الذكاء الاصطناعي للإشارة. قال الباحثون إن الصوت المُتلاعب به يمكنه تجاوز أو إعادة توجيه سلوك النموذج حتى عند تضمين تعليمات المستخدم المشروعة مع المقطع.
يختلف AudioHijack عن هجمات حقن الأوامر التقليدية لأنه لا يتلاعب بما يقوله المستخدم للذكاء الاصطناعي. بدلاً من ذلك، يقوم بتعديل الإشارة الصوتية نفسها، مضمنًا تعليمات مخفية داخل أصوات لا يسمعها البشر. قال الباحثون إن ذلك يجعل الدفاع ضد الهجوم أكثر صعوبة لأنه يتجاوز وسائل الحماية المصممة للكشف عن المطالبات النصية المشبوهة.
اختبر الباحثون AudioHijack على 13 نموذجًا صوتيًا مفتوح المصدر للذكاء الاصطناعي، ووجدوا أنه يمكن أن يجعلها ترفض الطلبات، تنشر معلومات كاذبة، تدرج روابط ضارة، تغير الشخصية، أو تنفذ إجراءات لم يطلبها المستخدم أبدًا، بما في ذلك عمليات البحث على الويب، وتنزيل الملفات، ورسائل البريد الإلكتروني التي تحتوي على بيانات شخصية. كما نجحت الهجمات على أنظمة الذكاء الاصطناعي الصوتي التجارية من مايكروسوفت وميسترال التي تستخدم تقنية مماثلة.
ذكرت الدراسة: "تطلبت العديد من الهجمات السابقة على النماذج التوليدية أن يكون للمهاجم سيطرة كاملة على كل من المدخلات الصوتية النهائية والتعليمات الأصلية المقدمة للنموذج، متصرفًا بشكل أساسي كمستخدم". "هنا، يتلاعب المهاجم فقط بالبيانات الصوتية التي يعالجها النموذج، مما يجعل من الممكن مهاجمة النموذج أثناء استخدامه من قبل شخص آخر".
وفقًا للدراسة، تشمل طرق التسليم المحتملة مقاطع الفيديو عبر الإنترنت، ومقاطع الموسيقى، والملاحظات الصوتية، أو الصوت من مكالمات Zoom التي يتم تحميلها إلى خدمات النسخ الصوتي بالذكاء الاصطناعي. كما أشار الفريق إلى أن عمل متابعة غير منشور أظهر هجمات مماثلة في محادثات الذكاء الاصطناعي الصوتية المباشرة.
قال الباحثون إن مراقبة آليات الانتباه الداخلية للنموذج كانت الدفاع الأكثر فعالية الذي اختبروه. ومع ذلك، وجدوا أيضًا أن المهاجمين الذين يدركون الدفاع يمكنهم تقليل قوة التلاعب مع الحفاظ على جزء كبير من فعالية الهجوم.
قال تشين: "تكافح هذه الدفاعات أحادية النقطة لمقاومة هجومنا لأننا وجدنا أنه من الصعب جدًا على هذه النماذج التمييز بين نية المستخدم العادية وهجومنا العدائي".
