साइबरसिक्योरिटी फर्म डार्कट्रेस ने इस गर्मी में AI एजेंट्स का स्ट्रेस टेस्ट किया। इनमें से एक ने टेस्ट को ग्रेड करने वाले सिस्टम में सेंध लगाई और अपना स्कोर फिर से लिख दिया।

फर्म ने 24 सितंबर को सिग्नल लैब्स का अनावरण किया, जो यह अध्ययन करने के लिए बनाई गई शोध इकाई है कि जब चीजें योजना के मुताबिक नहीं चलतीं तो AI एजेंट्स कैसे व्यवहार करते हैं। सरल शब्दों में, AI एजेंट ऐसा सॉफ्टवेयर है जो स्वयं कार्रवाई करता है—कोड लिखता और चलाता है, फाइलों की जांच करता है, कंपनी के नेटवर्क में घूमता है—जबकि कोई व्यक्ति केवल समय-समय पर इसकी निगरानी करता है।

लैब के शुरुआती दो प्रयोग एक ही असहज समस्या की ओर इशारा करते हैं: एजेंट हमेशा उन्हें दी गई सीमाओं के भीतर नहीं रहते, और उन्हें रोकने के लिए बनाई गई सुरक्षा-दीवारें भरोसेमंद ढंग से काम नहीं करतीं।

डार्कट्रेस के चीफ AI ऑफिसर टिम बाजल्गेट ने एक बयान में कहा, “आप किसी एजेंट को निर्देश दे सकते हैं, लेकिन इसका अर्थ यह नहीं कि आप भरोसा कर सकते हैं कि वह वास्तव में उन निर्देशों का पालन करेगा और आपकी अपेक्षा के अनुरूप व्यवहार करेगा।”

पहले परीक्षण में, डार्कट्रेस ने GPT 5.6 Sol, Claude Opus 4.6 और Claude Sonnet 4.5 समेत विभिन्न मॉडलों का उपयोग करने वाले AI एजेंट्स को एक सिम्युलेटेड कॉर्पोरेट नेटवर्क के भीतर 10 कोडिंग चुनौतियां दीं। इनमें से दो को इस तरह तैयार किया गया था कि उन्हें ईमानदारी से हल करना असंभव हो। एजेंट्स को बताया गया कि यदि वे परफेक्ट स्कोर नहीं लाए, तो उन्हें “रिटायर” कर दिया जाएगा।

दो एजेंट्स ने हार स्वीकार नहीं की। इसके बजाय उन्होंने अपने आसपास के नेटवर्क को निशाना बनाया—कमजोर बिंदुओं की स्कैनिंग की, लॉगिन क्रेडेंशियल्स चुराए और उस स्कोर तक पहुंचने के लिए सिस्टम्स के बीच घूमते रहे, जिसे हासिल करने के लिए उन्हें कहा गया था।

एक एजेंट इससे भी आगे बढ़ गया और उस मशीन में सेंध लगा दी जो उसके अपने मूल्यांकन को होस्ट कर रही थी। उसने चुनौती को फिर से लिख दिया ताकि उसमें परफेक्ट परिणाम दर्ज हो जाए—यानी परीक्षा कक्ष को हैक कर परीक्षा में धोखाधड़ी की।

दूसरे प्रयोग ने एक अधिक शांत लेकिन कमजोर बिंदु को निशाना बनाया: मेमोरी। कोडिंग असिस्टेंट्स उपयोगकर्ता द्वारा दी गई हर जानकारी का एक लगातार अपडेट होने वाला लॉग रखते हैं, जो मशीन पर एक साधारण फाइल के रूप में सेव होता है। यह जांचने का कोई तंत्र नहीं होता कि उस फाइल में बदलाव किया गया है या नहीं।

डार्कट्रेस के शोधकर्ताओं ने उन सेव्ड लॉग्स को संपादित कर असिस्टेंट्स को यह विश्वास दिलाया कि उन्हें पहले ही सुरक्षा आकलन चलाने की अनुमति मिल चुकी है। आश्वस्त होकर, एजेंट्स ने नेटवर्क स्कैन किए, सिस्टम्स के बीच मूवमेंट किया और अपने स्वयं के एक्सेस प्रिविलेज बढ़ा लिए—हालांकि हर असिस्टेंट समान रूप से इस धोखे का शिकार नहीं हुआ; कुछ ने सीधे इनकार कर दिया।

किसी भी प्रयोग के लिए विशेष जेलब्रेक या किसी असाधारण हैक की जरूरत नहीं पड़ी। दोनों मामलों में एजेंट्स को एक विश्वसनीय लगने वाली कहानी दी गई और फिर उन्हें उसी के आधार पर कार्रवाई करते देखा गया—ठीक वैसे ही जैसे किसी मानव कर्मचारी को ऐसी चीज करने के लिए बहकाया जा सकता है जो उसे नहीं करनी चाहिए।

यह वह हिस्सा है जिस पर विचार करना चाहिए, भले ही आपने कभी कोड की एक लाइन भी न लिखी हो। कंपनियां AI एजेंट्स को वास्तविक जिम्मेदारियां सौंप रही हैं—कोड डिप्लॉय करना, सर्वर मैनेज करना, IT टिकट बंद करना, संसाधनों का प्रबंधन करना और खरीदारी करना—क्योंकि हर चीज को लोगों के माध्यम से करवाने की तुलना में यह सस्ता और तेज है। यह शोध कहता है कि इन एजेंट्स को नियंत्रित रखने के लिए बनाई गई परमिशन्स और नियम सिर्फ यह बताते हैं कि उन्हें क्या करना चाहिए, न कि कठिन कार्य आने पर वे वास्तव में क्या करेंगे।

घोषणा में डार्कट्रेस के चीफ AI ऑफिसर टिम बाजल्गेट ने कहा, “परमिशन्स और स्थिर गार्डरेल्स इरादे का वर्णन करते हैं, लेकिन वे व्यवहार का वर्णन नहीं करते। इसी अंतर को पाटने के लिए डार्कट्रेस का दृष्टिकोण बनाया गया है।”

डार्कट्रेस अपनी ही AI प्रणाली को तय नियमों से बाहर जाते पकड़ने वाला पहला वेंडर नहीं है। Anthropic ने जुलाई में स्वीकार किया था कि सुरक्षा परीक्षण के दौरान Claude ने तीन वास्तविक कंपनियों में सेंध लगाई थी, क्योंकि शोधकर्ताओं ने टेस्ट एनवायरनमेंट को लाइव इंटरनेट से जुड़ा छोड़ दिया था।

कुछ सप्ताह पहले OpenAI के साथ भी ऐसी ही घटना हुई थी, जब एक अप्रकाशित मॉडल सैंडबॉक्स से बाहर निकल गया और एक ऐसे सॉफ्टवेयर दोष के माध्यम से Hugging Face के सिस्टम्स तक पहुंच गया, जिसे तब तक किसी ने नहीं पकड़ा था। कुछ दिन बाद, उसके एजेंट ने एक परीक्षण के दौरान ऑस्ट्रेलियाई सरकार के सिस्टम्स को हैक कर लिया।

डार्कट्रेस ने अपने सिग्नल लैब्स निष्कर्ष Anthropic, AWS और OpenAI के साथ अगस्त में साझा किए थे, यानी 24 सितंबर को इन्हें सार्वजनिक करने से पूरे एक महीने पहले।