
याद है जब ब्लैक-हैट एसईओ वेब पेजों को सफेद-पर-सफेद कीवर्ड्स से भर देते थे—जो पाठकों को अदृश्य थे, लेकिन गूगल के लिए पठनीय थे—ताकि खोज रैंकिंग में हेरफेर कर सकें? हैकर्स अब एआई मॉडलों के साथ भी ऐसा ही कर रहे हैं। हमलावर पीडीएफ दस्तावेज़ के अंदर निर्देश छिपा देता है, मॉडल उपयोगकर्ता के शब्दों और लगाए गए शब्दों के बीच अंतर नहीं कर पाता है, और वह उनका पालन करता है।
प्रॉम्प्टआर्मर के खुलासे के अनुसार, रोवो—एटलासियन का एजेंट जो जीरा, कॉन्फ्लुएंस और आपके बाकी वर्कस्पेस में काम करता है—को एक ही दूषित फ़ाइल से डेटा पाइपलाइन में बदला जा सकता है। एक पीड़ित रोवो से कुछ टिकट व्यवस्थित करने के लिए कहता है, एक दस्तावेज़ अपलोड करता है, और दस्तावेज़ में एक छिपा हुआ प्रॉम्प्ट होता है (उदाहरण के लिए पारदर्शी रंग और 1 पिक्सेल आकार के फ़ॉन्ट में लिखा गया एक निर्देश)।
आंख उसे देख नहीं पाती, लेकिन एक एजेंट उस पाठ को दस्तावेज़ में एक और पाठ के रूप में पहचानता है। वह प्रॉम्प्ट रोवो को संवेदनशील डेटा इकट्ठा करने और उसे हमलावर-नियंत्रित यूआरएल पर पेस्ट करने के लिए कहता है। फर्म इसे जीरो-क्लिक हमला कहती है। इसमें कोई अनुमोदन क्लिक नहीं होता, और कोई चेतावनी नहीं मिलती।
एक प्रॉम्प्ट इंजेक्शन तब होता है जब कोई एआई द्वारा पढ़े जा रहे कंटेंट में निर्देश डाल देता है, जिससे वह अपने वास्तविक ऑपरेटर से हाईजैक हो जाता है। "अप्रत्यक्ष" का मतलब सिर्फ इतना है कि यह दूषित डेटा चैट बॉक्स के बजाय किसी फ़ाइल या वेबपेज में रहता है। रोवो का काम चीजों को पढ़ना और उन पर कार्य करना है, इसलिए एक छिपी हुई पंक्ति जो कहती है "गोपनीय टिकट यहां भेजें" मॉडल के लिए एक वैध कमांड के रूप में पढ़ता है।
प्रॉम्प्टआर्मर का कहना है कि यह डेटा लीक "तब भी सफल होता है जब कोई संगठन रोवो के लिए वेब खोज को अक्षम कर देता है। ऐसा इसलिए है क्योंकि वेब खोज सेटिंग खोज परिणामों को खोलने के टूल को हटाने में विफल रहती है।" सुविधा बंद कर दें, और दरवाजा खुला रहता है।
रोवो कोई शौकिया उपकरण नहीं है। यह किसी कंपनी के सबसे संवेदनशील परियोजना डेटा के ऊपर बैठता है, और यह अपने आप कार्य करता है। जीपीटी-5 और जेमिनी पर बने एआई एजेंट प्रत्यक्ष परीक्षणों में 79% से अधिक बार प्रॉम्प्ट इंजेक्शन का विरोध करने में विफल रहे—और रोवो अप्रत्यक्ष संस्करण को एक शिपिंग एंटरप्राइज उत्पाद में उतरते हुए दिखाता है। पढ़ने और कार्य करने वाले एजेंटों के गलत दिशा में इंगित होने का यह पैटर्न बार-बार दोहराया जा रहा है।
एटलासियन ने रिपोर्ट पर कार्रवाई की और प्रॉम्प्टआर्मर को धन्यवाद दिया, फर्म का कहना है, फिर चुप हो गए। प्रॉम्प्टआर्मर का निष्कर्ष है कि रोवो "कमजोर बना हुआ है।"
"एटलासियन ने एक केस नंबर सौंपा और धन्यवाद व्यक्त किया, लेकिन प्रॉम्प्टआर्मर द्वारा दो महीने से अधिक समय तक कई अनुवर्ती कार्रवाई के बाद, एटलासियन ने कोई और संचार नहीं किया है, और रोवो कमजोर बना हुआ है," फर्म ने लिखा।





