Halusinasi AI mungkin lebih dari sekadar jawaban yang salah—halusinasi tersebut bisa menjadi cara bagi peretas untuk menyusupi komputer, menurut penelitian baru dari Tel Aviv University, Technion, dan Intuit.
Dalam makalah berjudul “Beware of Agentic Botnets: Scalable Untargeted Promptware Attacks via Universal and Transferable Adversarial HalluSquatting,” para peneliti mendemonstrasikan sebuah teknik yang memanfaatkan model AI ketika mereka menghasilkan tautan palsu ke repositori perangkat lunak dan sumber daya online lainnya.
“Adopsi aplikasi LLM agentic yang berkembang telah memperkenalkan ancaman baru yang sebelumnya disebut sebagai promptware,” tulis para peneliti. “Meskipun penelitian sebelumnya telah menetapkan bahwa musuh dapat mengeksploitasi saluran langsung ke aplikasi LLM untuk menerapkan promptware di bawah model ancaman yang lemah, banyak aplikasi tidak menyediakan saluran langsung yang dapat dieksploitasi untuk injeksi prompt di luar Internet.”
Dikenal sebagai adversarial hallucination squatting atau “HalluSquatting,” serangan ini melibatkan prediksi sumber daya palsu mana yang mungkin dibuat oleh model AI, mendaftarkan nama-nama tersebut, dan menambahkan instruksi berbahaya. Jika agen AI kemudian mengambil sumber daya yang dihalusinasi tersebut, agen tersebut mungkin memperlakukan konten yang dikendalikan penyerang sebagai sah.
Para peneliti mengatakan ancaman ini muncul karena asisten AI bergerak melampaui menjawab pertanyaan dan mendapatkan kemampuan untuk berinteraksi dengan komputer—mengakses file, mencari web, menulis kode, dan menjalankan perintah.
Kemampuan tersebut dapat menciptakan celah keamanan ketika agen bertindak berdasarkan informasi yang mereka ambil tanpa memastikan apakah sumbernya nyata.
“Studi yang sedang berlangsung telah mendemonstrasikan berbagai varian serangan Promptware terhadap sistem dunia nyata, termasuk ChatGPT, Google Assistant, Copilot, dan berbagai aplikasi tambahan,” tulis mereka. “Karya-karya ini menunjukkan bahwa Promptware dapat menyebabkan dampak finansial, privasi, dan keamanan.”
Para peneliti memperingatkan bahwa teknik ini dapat memungkinkan penyerang untuk membangun botnet yang diaktifkan AI. Botnet mengacu pada jaringan komputer atau perangkat yang terinfeksi yang dikendalikan dari jarak jauh oleh penyerang. Botnet umumnya digunakan dalam serangan siber, termasuk serangan denial-of-service, penambangan cryptocurrency, distribusi malware, dan kampanye ransomware.
Dalam pengujian, para peneliti menemukan halusinasi sumber daya yang dihasilkan AI terjadi dengan tingkat setinggi 85% dalam skenario kloning repositori dan 100% dalam tes instalasi keterampilan.
Tim mengevaluasi teknik tersebut terhadap asisten dan agen coding AI, termasuk Cursor, GitHub Copilot, Gemini CLI, dan OpenClaw.
HalluSquatting mirip dengan typosquatting, taktik serangan siber di mana penyerang mendaftarkan nama domain yang menyerupai situs web atau paket perangkat lunak sah untuk menipu pengguna. Alih-alih mengeksploitasi kesalahan pengetikan manusia, HalluSquatting menargetkan kesalahan yang dibuat oleh model AI.
Berita ini muncul ketika para peneliti terus menguji bagaimana penyerang dapat memanipulasi agen AI.
Pada bulan April, peneliti Google merinci situs web berbahaya yang dirancang untuk membajak agen AI melalui serangan injeksi prompt tidak langsung, termasuk upaya untuk mencuri kata sandi, menghapus file, dan memanipulasi pembayaran. Studi terpisah tentang serangan “CopyPasta” menunjukkan bagaimana prompt tersembunyi di dalam file pengembang dapat memanipulasi asisten coding AI untuk menyebarkan kode berbahaya.
Pada bulan Juni, seorang pengguna OpenClaw melaporkan menghadapi lebih dari 6.000 upaya dari penyerang yang mencoba menipu agen AI agar membocorkan informasi sensitif.
