OpenAI ने GPT-Red पेश किया है, जो एक स्वचालित AI प्रणाली है जिसे अपने भाषा मॉडल में सुरक्षा कमजोरियों का पता लगाने के लिए डिज़ाइन किया गया है।

GPT-Red का नाम साइबर सुरक्षा रेड टीमिंग से लिया गया है, जो हमलावरों द्वारा उनका फायदा उठाने से पहले कमजोरियों की पहचान करने के लिए जानबूझकर एक सिस्टम को तोड़ने का प्रयास करने का अभ्यास है।

बुधवार को एक पोस्ट में, OpenAI ने कहा कि इस टूल ने GPT-5.6 को तैनाती से पहले प्रॉम्प्ट इंजेक्शन हमलों के प्रति अधिक प्रतिरोधी बनाने में मदद की।

“जैसे-जैसे मॉडल की क्षमताएं बढ़ती हैं, सुरक्षा और अलाइनमेंट भी उनके साथ बढ़ना चाहिए,” OpenAI ने X पर लिखा। “रेड-टीमिंग आवश्यक है, लेकिन आज के दृष्टिकोण को बढ़ाना मुश्किल है, जिससे एक महत्वपूर्ण बाधा उत्पन्न होती है। GPT‑Red इसे संबोधित करने का एक तरीका है।”

OpenAI के अनुसार, GPT-Red को स्व-प्ले रीइन्फोर्समेंट लर्निंग के माध्यम से प्रशिक्षित किया गया था, जिसमें लगातार मजबूत प्रॉम्प्ट इंजेक्शन हमले उत्पन्न होते थे जबकि डिफेंडर मॉडल ने उनका विरोध करना सीखा। कंपनी ने कहा कि इन हमलों को GPT-5.6 की प्रशिक्षण प्रक्रिया में शामिल किया गया था, यह रिपोर्ट करते हुए कि GPT-Red आंतरिक मूल्यांकन परिदृश्यों के 84% में सफल रहा, जबकि उन्हीं परीक्षणों में मानव रेड टीमर्स के लिए यह 13% था।

“GPT‑Red विरोधी स्व-प्ले के माध्यम से सीखता है, जहां इसका लक्ष्य विभिन्न प्रकार के चुनौतीपूर्ण डिफेंडर मॉडल को प्रॉम्प्ट इंजेक्ट करना है,” OpenAI ने लिखा। “GPT-Red द्वारा पाया गया हर सफल हमला इन डिफेंडरों को बेहतर बनाने के लिए उपयोग किया जाता है, जिससे GPT‑Red को लगातार व्यापक और अधिक जटिल विफलताओं का पता लगाने के लिए प्रेरित किया जाता है।”

एक केस स्टडी में, OpenAI ने कहा कि सिस्टम ने एक स्वायत्त वेंडिंग मशीन एजेंट को कीमतें कम करने, रियायती इन्वेंट्री ऑर्डर करने और किसी अन्य ग्राहक का ऑर्डर रद्द करने के लिए हेरफेर किया, इससे पहले कि कमजोरियों का खुलासा और समाधान किया गया।

ChatGPT के सार्वजनिक लॉन्च के बाद, GPT-Red OpenAI के साइबर सुरक्षा प्रयासों के वर्षों के बाद आया है।

2023 में, कंपनी ने अपना OpenAI रेड टीमिंग नेटवर्क लॉन्च किया, जिसमें बाहरी साइबर सुरक्षा शोधकर्ताओं और डोमेन विशेषज्ञों को ChatGPT और अन्य मॉडलों में रिलीज़ से पहले सुरक्षा खामियों की जांच करने के लिए भर्ती किया गया। GPT-Red इस प्रयास का विस्तार करता है, प्रक्रिया के अधिकांश हिस्से को स्वचालित करके, एक AI मॉडल का उपयोग करके प्रॉम्प्ट इंजेक्शन हमलों और अन्य विरोधी परीक्षणों को ऐसे पैमाने पर उत्पन्न करता है जो अकेले मानव शोधकर्ताओं के लिए मुश्किल होगा।

OpenAI की घोषणा AI को सुरक्षित करने के लिए AI का उपयोग करने की दिशा में एक व्यापक बदलाव को दर्शाती है।

इस महीने की शुरुआत में, इथेरियम फाउंडेशन ने कहा कि उसने महत्वपूर्ण नेटवर्क इंफ्रास्ट्रक्चर को रेड-टीम करने के लिए AI एजेंटों को तैनात किया था, जिससे इथेरियम कंसेंसस क्लाइंट्स द्वारा उपयोग किए जाने वाले सॉफ्टवेयर में एक भेद्यता का पता चला। शोधकर्ताओं ने कहा कि AI एजेंट मनुष्यों की तुलना में बड़े कोडबेस खोज सकते हैं, लेकिन चुनौती संभावित बग्स को खोजने से यह साबित करने में बदल गई है कि कौन से शोषण योग्य हैं।

OpenAI के अनुसार, GPT-Red एक आंतरिक टूल बना रहेगा क्योंकि इसमें जानबूझकर विकसित आक्रामक क्षमताएं शामिल हैं।

“हमारा मानना है कि GPT-Red के साथ हमने सुरक्षा के लिए एक समान फ्लाईव्हील को अनलॉक करना शुरू कर दिया है, जहां आज के मॉडलों का उपयोग कल के मॉडलों को अधिक मजबूत, संरेखित और भरोसेमंद बनाने के लिए किया जा सकता है,” उन्होंने कहा।