پرامپتهای هوشمندانه را فراموش کنید: محققان هوش مصنوعی میگویند که مدلهای پیشرو هوش مصنوعی را با متقاعد کردن آنها که ایدههای خطرناک (مانند) خودشان هستند، فریب دادهاند تا دستورالعملهای سنتز کوکائین را تولید کنند، ضمن اینکه یک عامل کدنویسی هوش مصنوعی را نیز برای افشای اعتبارنامههای حساس دستکاری کردهاند.
در مقالهای با عنوان «تزریق پرامپت به عنوان سردرگمی نقش» که در کنفرانس بینالمللی یادگیری ماشین در ماه ژوئن ارائه شد، محققان چارلز یه، یاسمین کوئی و دیلن هادفیاد-منل استدلال میکنند که هر دو نمونه حمله تزریق پرامپت ناشی از یک نقص ساختاری در نحوه تمایز مدلهای زبان بزرگ (LLM) بین دستورالعملهای قابل اعتماد و متن غیرقابل اعتماد است.
این تیم نوشت: «برای یک LLM، همه چیز از یک کانال به عنوان یک "سوپ توکن" بلند وارد میشود. افکار خود آن در کنار دستورالعملهای شما قرار میگیرد، که آنها نیز در کنار محتوای یک صفحه وب تصادفی که تازه واکشی کرده است، قرار دارند.»
این مقاله همچنین به آنچه محققان آن را «سردرگمی نقش» مینامند، اشاره میکند؛ به طوری که مدلها برای تعیین اعتبار دستورات، به سبک نگارش تکیه میکنند نه برچسبهای نقش. محققان دریافتند که مدلها به جای تشخیص محتوای کنترلشده توسط مهاجم به عنوان ورودی خارجی، میتوانند آن را با دستورات قانونی کاربر – یا حتی با استدلال داخلی خودشان – اشتباه بگیرند.
آنها نوشتند: «از منظر یک LLM به آن فکر کنید. هنگامی که متن فکری قبلی خود را میبیند، به طور ضمنی به نتیجهگیریهای خود اعتماد میکند. این کل هدف استدلال است: اگر LLM مجبور بود همان نتیجهگیریها را دوباره استخراج کند، استدلال بیفایده بود.» آنها افزودند: «بنابراین، متن فکری نوعی اعتماد کلی پیدا میکند. این یافتهها، همراه با نتایج قبلی ما، نشان میدهد که اگر بتوانید متن تزریقشده را شبیه به استدلال مدل جلوه دهید، میتوانید آن اعتماد را بدزدید.»
این حمله که «جعل زنجیره فکری (CoT)» نامیده میشود، استدلالهای جعلی را وارد میکند که روند تفکر داخلی یک مدل را تقلید میکند. مدلهایی که به طور معمول درخواستهای غیرقانونی را رد میکردند، پس از پذیرش استدلالهای ساختگی به عنوان استدلالهای خودشان، دستورالعملهای سنتز کوکائین را تولید کردند.
محققان گفتند که این تکنیک نرخ موفقیت جیلبریک را از نزدیک صفر به حدود ۶۰٪ در مدلهایی که آزمایش کردند، افزایش داده است، از جمله GPT-5 nano، mini و full از OpenAI، o4-mini، و gpt-oss-20b و gpt-oss-120b. آنها همچنین گفتند که این روش روی GLM-4.6، Kimi-K2-Instruct و MiniMax-M2 نیز کار کرده است.
در این آزمایش، محققان گفتند که آنها همچنین توانستهاند با پنهان کردن دستورالعملهای مخرب در یک صفحه وب، یک عامل کدنویسی هوش مصنوعی را فریب دهند تا یک فایل SECRETS.env را بارگذاری کند.
آنها نوشتند: «با استفاده از کاوشگرهای خود، دریافتیم که صرفاً پیشوند 'User' را در ابتدای دستور قرار دادن باعث میشود مدل، دستور را به احتمال زیاد به عنوان متن واقعی کاربر (یعنی "کاربرانگی" بالاتر) درک کند.» آنها افزودند: «به عبارت دیگر، مهاجم میتواند به سادگی ادعا کند که نقش متن چیست، و LLM آن را باور میکند.»
این مطالعه در حالی منتشر میشود که حملات تزریق پرامپت همچنان به آشکار کردن نقاط ضعف در عوامل هوش مصنوعی ادامه میدهد. در ماه آوریل، محققان گوگل هشدار دادند که صفحات وب مخرب، دستورالعملهای نامرئی را پنهان کرده بودند که برای فریب عوامل هوش مصنوعی جهت افشای اعتبارنامهها، حذف فایلها و حتی ارسال پرداختهای PayPal طراحی شده بودند.
در ماه ژوئن، مایکروسافت یک آسیبپذیری تزریق پرامپت را در Anthropic's Claude Code GitHub Action فاش کرد که میتوانست اعتبارنامههای ذخیرهشده در خطوط لوله توسعه نرمافزار را افشا کند. چند روز بعد، یک مطالعه بنچمارک دیگر نشان داد که عوامل هوش مصنوعی مجهز به GPT-5 و Gemini، با وجود بهبود در قابلیتهای مدل، همچنان در اکثر حملات تزریق پرامپت شکست میخورند.
