توهمات هوش مصنوعی ممکن است چیزی فراتر از پاسخ‌های نادرست باشند – طبق تحقیقات جدید دانشگاه تل‌آویو، تکنیون و Intuit، آنها می‌توانند راهی برای هکرها برای به خطر انداختن کامپیوترها شوند.

در مقاله‌ای با عنوان "Beware of Agentic Botnets: Scalable Untargeted Promptware Attacks via Universal and Transferable Adversarial HalluSquatting" (از بات‌نت‌های عاملیت‌محور برحذر باشید: حملات پراپت‌ور غیرهدفمند مقیاس‌پذیر از طریق هالوسکوئتینگ خصمانه جهانی و قابل انتقال)، محققان تکنیکی را به نمایش گذاشتند که از مدل‌های هوش مصنوعی زمانی که لینک‌های جعلی به مخازن نرم‌افزاری و سایر منابع آنلاین ایجاد می‌کنند، سوءاستفاده می‌کند.

محققان نوشتند: "پذیرش فزاینده برنامه‌های عامل‌محور LLM تهدید جدیدی را معرفی کرده که پیش از این پراپت‌ور (promptware) نامیده می‌شد." آنها افزودند: "در حالی که کارهای قبلی نشان داده‌اند که مهاجمان می‌توانند از کانال‌های مستقیم به برنامه‌های LLM برای اعمال پراپت‌ور تحت مدل‌های تهدید ضعیف سوءاستفاده کنند، بسیاری از برنامه‌ها هیچ کانال مستقیمی را که بتوان برای تزریق پراپت فراتر از اینترنت از آن سوءاستفاده کرد، فراهم نمی‌کنند."

این حمله که به عنوان دزدیدن توهم خصمانه یا "هالوسکوئتینگ" شناخته می‌شود، شامل پیش‌بینی اینکه مدل‌های هوش مصنوعی احتمالاً کدام منابع جعلی را ایجاد می‌کنند، ثبت آن نام‌ها و افزودن دستورالعمل‌های مخرب است. اگر یک عامل هوش مصنوعی بعداً منبع توهم‌آمیز را بازیابی کند، ممکن است محتوای تحت کنترل مهاجم را قانونی تلقی کند.

محققان گفتند این تهدید با پیشرفت دستیاران هوش مصنوعی از صرفاً پاسخ دادن به سوالات و کسب توانایی تعامل با کامپیوترها – دسترسی به فایل‌ها، جستجو در وب، نوشتن کد و اجرای دستورات – پدیدار می‌شود.

این توانایی‌ها می‌توانند شکاف‌های امنیتی ایجاد کنند، زمانی که عوامل بر اساس اطلاعاتی که بازیابی می‌کنند عمل می‌کنند، بدون آنکه تأیید کنند منبع واقعی است یا خیر.

آنها نوشتند: "مطالعات جاری انواع مختلفی از حملات پراپت‌ور را علیه سیستم‌های واقعی، از جمله ChatGPT، دستیار گوگل، Copilot و برنامه‌های اضافی مختلف نشان داده‌اند." "این کارها نشان دادند که پراپت‌ور می‌تواند منجر به پیامدهای مالی، حفظ حریم خصوصی و ایمنی شود."

محققان هشدار دادند که این تکنیک می‌تواند به مهاجمان اجازه دهد تا بات‌نت‌های مجهز به هوش مصنوعی ایجاد کنند. بات‌نت (botnet) به شبکه‌ای از کامپیوترها یا دستگاه‌های آلوده اشاره دارد که از راه دور توسط مهاجم کنترل می‌شوند. بات‌نت‌ها معمولاً در حملات سایبری، از جمله حملات انکار سرویس (DoS)، استخراج رمزارز، توزیع بدافزار و کمپین‌های باج‌افزاری استفاده می‌شوند.

در آزمایش‌ها، محققان دریافتند که توهمات منابع تولید شده توسط هوش مصنوعی در سناریوهای شبیه‌سازی مخزن (repository cloning) به میزان ۸۵ درصد و در آزمایش‌های نصب مهارت (skill installation) به ۱۰۰ درصد می‌رسد.

این تیم این تکنیک را در برابر دستیاران و عوامل کدنویسی هوش مصنوعی، از جمله Cursor، GitHub Copilot، Gemini CLI و OpenClaw، ارزیابی کرد.

هالوسکوئتینگ شبیه به تایپواسکوئتینگ (typosquatting) است، یک تاکتیک حمله سایبری که در آن مهاجمان نام‌های دامنه شبیه به وب‌سایت‌های قانونی یا بسته‌های نرم‌افزاری را ثبت می‌کنند تا کاربران را فریب دهند. اما به جای سوءاستفاده از اشتباهات تایپی انسان، هالوسکوئتینگ اشتباهات مدل‌های هوش مصنوعی را هدف قرار می‌دهد.

این خبر در حالی منتشر می‌شود که محققان همچنان در حال آزمایش چگونگی دستکاری عوامل هوش مصنوعی توسط مهاجمان هستند.

در ماه آوریل، محققان گوگل وب‌سایت‌های مخربی را تشریح کردند که برای ربودن عوامل هوش مصنوعی از طریق حملات تزریق پرامپت غیرمستقیم طراحی شده بودند، از جمله تلاش برای سرقت رمزهای عبور، حذف فایل‌ها و دستکاری پرداخت‌ها. یک مطالعه جداگانه در مورد حمله "CopyPasta" نشان داد که چگونه پرامپت‌های پنهان در فایل‌های توسعه‌دهنده می‌توانند دستیاران کدنویسی هوش مصنوعی را به انتشار کدهای مخرب سوق دهند.

در ماه ژوئن، یک کاربر OpenClaw گزارش داد که با بیش از ۶۰۰۰ تلاش از سوی مهاجمان روبرو شده است که سعی داشتند عامل هوش مصنوعی را برای افشای اطلاعات حساس فریب دهند.