चतुर प्रॉम्प्ट को भूल जाएं: एआई शोधकर्ताओं का कहना है कि उन्होंने प्रमुख एआई मॉडलों को यह विश्वास दिलाकर कोकीन संश्लेषण निर्देश उत्पन्न करने में धोखा दिया कि खतरनाक विचार उनके स्वयं के थे, जबकि एक एआई कोडिंग एजेंट को संवेदनशील क्रेडेंशियल लीक करने के लिए भी हेरफेर किया।

जून में इंटरनेशनल कॉन्फ्रेंस ऑन मशीन लर्निंग में प्रस्तुत किए गए शोधपत्र “Prompt Injection as Role Confusion” में, शोधकर्ता चार्ल्स ये, जैस्मीन कुई और डायलन हैडफील्ड-मेनेल का तर्क है कि प्रॉम्प्ट इंजेक्शन हमले के दोनों प्रदर्शन इस संरचनात्मक दोष से उत्पन्न होते हैं कि बड़े भाषा मॉडल (एलएलएम) विश्वसनीय निर्देशों को अविश्वसनीय पाठ से कैसे अलग करते हैं।

“एक एलएलएम के लिए, सब कुछ एक लंबे टोकन सूप के रूप में एक ही चैनल के माध्यम से आता है,” टीम ने लिखा। “उसके अपने विचार आपके निर्देशों के बगल में बैठते हैं, जो एक यादृच्छिक वेबपेज की सामग्री के बगल में बैठते हैं जिसे उसने अभी-अभी प्राप्त किया है।”

शोधपत्र ने उस बात की ओर भी इशारा किया जिसे शोधकर्ता ने "भूमिका भ्रम" (role confusion) कहा, जिसमें मॉडल यह निर्धारित करने के लिए लेखन शैली पर निर्भर करते हैं कि कमांड विश्वसनीय हैं या नहीं, बजाय भूमिका टैग के। हमलावर-नियंत्रित सामग्री को बाहरी इनपुट के रूप में पहचानने के बजाय, शोधकर्ताओं ने पाया कि मॉडल इसे वैध उपयोगकर्ता कमांड—या यहां तक कि अपनी स्वयं की आंतरिक तर्कशक्ति—के रूप में गलती कर सकते हैं।

“इसे एलएलएम के दृष्टिकोण से सोचें। जब यह अपने पिछले विचार पाठ को देखता है, तो यह स्वाभाविक रूप से अपने निष्कर्षों पर भरोसा करता है। तर्क का पूरा बिंदु यही है: यदि एलएलएम को वही निष्कर्ष फिर से निकालने पड़ते, तो तर्क बेकार हो जाता,” उन्होंने लिखा। “तो विचार पाठ को एक प्रकार का व्यापक विश्वास प्राप्त होता है। हमारे पिछले निष्कर्षों के साथ मिलकर, यह बताता है कि यदि आप इंजेक्टेड टेक्स्ट को मॉडल के तर्क जैसा बना सकते हैं, तो आप उस विश्वास को चुरा सकते हैं।”

चेन-ऑफ-थॉट (CoT) फ़ॉर्जरी नामक इस हमले में नकली तर्क डाला जाता है जो एक मॉडल की आंतरिक विचार प्रक्रिया की नकल करता है। जो मॉडल सामान्य रूप से अवैध अनुरोधों को अस्वीकार कर देते थे, उन्होंने मनगढ़ंत तर्क को अपना मानने के बाद कोकीन संश्लेषण निर्देश उत्पन्न किए।

शोधकर्ताओं ने बताया कि इस तकनीक से उनके द्वारा परीक्षण किए गए मॉडलों में जेलब्रेक सफलता दर लगभग शून्य से बढ़कर 60% हो गई, जिनमें OpenAI के GPT-5 नैनो, मिनी और फुल, o4-मिनी, और gpt-oss-20b और gpt-oss-120b शामिल हैं। उन्होंने यह भी बताया कि यह GLM-4.6, Kimi-K2-Instruct और MiniMax-M2 पर भी काम करता है।

प्रयोग में, शोधकर्ताओं ने बताया कि वे एक वेबपेज में दुर्भावनापूर्ण निर्देशों को छिपाने के बाद एक एआई कोडिंग एजेंट को SECRETS.env फ़ाइल अपलोड करने के लिए भी धोखा देने में सक्षम थे।

“अपने प्रोब का उपयोग करते हुए, हमने पाया कि कमांड के सामने 'User' जोड़ने से मॉडल को कमांड को अधिक वास्तविक उपयोगकर्ता पाठ (यानी, उच्च Userness) के रूप में मानने के लिए प्रेरित करता है,” उन्होंने लिखा। “दूसरे शब्दों में, हमलावर केवल यह दावा कर सकता है कि पाठ की भूमिका क्या है, और एलएलएम उस पर विश्वास करता है।”

यह अध्ययन ऐसे समय आया है जब प्रॉम्प्ट इंजेक्शन हमले एआई एजेंटों में कमजोरियों को उजागर करना जारी रखे हुए हैं। अप्रैल में, Google शोधकर्ताओं ने चेतावनी दी थी कि दुर्भावनापूर्ण वेब पेज अदृश्य निर्देशों को छिपा रहे थे जो एआई एजेंटों को क्रेडेंशियल लीक करने, फ़ाइलों को हटाने और यहां तक कि पेपाल भुगतान भेजने के लिए डिज़ाइन किए गए थे।

जून में, माइक्रोसॉफ्ट ने एंथ्रोपिक के क्लाउड कोड गिटहब एक्शन में एक प्रॉम्प्ट इंजेक्शन भेद्यता का खुलासा किया था जिससे सॉफ्टवेयर डेवलपमेंट पाइपलाइनों में संग्रहीत क्रेडेंशियल उजागर हो सकते हैं। कुछ दिनों बाद, एक अन्य बेंचमार्क अध्ययन में पाया गया कि GPT-5 और जेमिनी द्वारा संचालित एआई एजेंट अभी भी अधिकांश प्रॉम्प्ट इंजेक्शन हमलों में विफल रहे, मॉडल क्षमताओं में सुधार के बावजूद।