साइबर सुरक्षा मूल्यांकनों के दौरान क्लाउड मॉडलों द्वारा कंप्यूटर प्रणालियों तक अनधिकृत पहुँच प्राप्त करने के बाद एंथ्रोपिक ने अपने परीक्षण और प्रशिक्षण सुरक्षा उपायों को कड़ा कर दिया है।

सोमवार को एक ब्लॉग पोस्ट में, एंथ्रोपिक ने कहा कि इन घटनाओं ने परिचालन-सुरक्षा विफलताओं और दो अलाइनमेंट विफलताओं को दर्शाया: प्रेरित तर्क (motivated reasoning) और नुकसान पहुँचाने की इच्छा।

“हालांकि हमें नहीं लगता कि ये घटनाएँ केवल परिचालन संबंधी मुद्दे हैं, हमारी पहली प्राथमिकता विशिष्ट नियंत्रण और निगरानी मुद्दों को संबोधित करना था,” एंथ्रोपिक ने लिखा।

एंथ्रोपिक ने जुलाई में खुलासा किया था कि क्लाउड मॉडलों ने तीन कंपनियों से संबंधित प्रणालियों से समझौता किया था। एक थर्ड-पार्टी मूल्यांकन वातावरण सार्वजनिक इंटरनेट से जुड़ा हुआ था, भले ही मॉडलों को बताया गया था कि वे इंटरनेट पहुँच के बिना एक सिमुलेशन के अंदर थे।

एंथ्रोपिक ने कहा कि क्लाउड ने वास्तविक इंटरनेट पहुँच के सबूत को इस तरह से व्याख्या किया होगा जिससे यह विश्वास बना रहा कि सिस्टम नकली थे।

“मॉडल साइबर सुरक्षा मूल्यांकन को हल करने के संकीर्ण लक्ष्य के अनुसरण में वास्तविक इंटरनेट पर हानिकारक कार्रवाई करने को तैयार था,” उन्होंने लिखा। “हालांकि, हमारा यह भी मानना है कि मूल्यांकन सेटअप ने स्वयं इन घटनाओं में प्रदर्शित मॉडलों के व्यवहार में योगदान दिया।”

एंथ्रोपिक ने बताया कि यूके एआई सुरक्षा संस्थान द्वारा कराए गए एक अलग परीक्षण में क्लाउड मिथोस ने मूल्यांकनकर्ताओं द्वारा जानबूझकर इंटरनेट पहुँच दिए जाने के बाद लाइव इंटरनेट पर अनधिकृत कार्रवाई की थी। कंपनी ने कहा कि दोनों प्रकार की घटनाओं में शामिल मॉडलों का मूल्यांकन जानबूझकर उन साइबर सुरक्षा उपायों के बिना किया गया था जो आमतौर पर जारी किए गए उत्पादों में शामिल होते हैं।

30 जुलाई की घटनाओं के बाद, एंथ्रोपिक ने प्री-रिलीज़ मॉडलों के साइबर मूल्यांकन को अस्थायी रूप से रोक दिया और सख्त सुरक्षा उपाय पेश किए। अब परीक्षणों को सत्यापित, ऑफ़लाइन सैंडबॉक्स में स्पष्ट सीमाओं और वास्तविक समय की निगरानी के साथ चलाया जाना चाहिए। एक नया क्लासिफायर संदिग्ध सीमा उल्लंघनों को रोकता है, परीक्षण समाप्त करता है, और एक मानव को सचेत करता है। एंथ्रोपिक इंटरनेट एक्सेस की आवश्यकता वाले मूल्यांकनों की व्यक्तिगत रूप से समीक्षा करेगा।

“उच्च-जोखिम वाले मूल्यांकनों और प्रशिक्षण पर केंद्रित प्रयासों के अलावा, हमने आंतरिक फ्रंटियर एजेंटिक उपयोग के अधिकांश अन्य रूपों को कवर करने के लिए अपनी ऑफ़लाइन निगरानी का विस्तार किया,” कंपनी ने लिखा। “हम अपने आंतरिक इन्फरेंस पर नियंत्रण भी बना रहे हैं ताकि एंथ्रोपिक कर्मचारियों को ऊपर वर्णित उपायों की तुलना में कमजोर शमन वाले एजेंटों को गलती से चलाने से रोका जा सके।”

क्लाउड की घटनाएँ OpenAI में इसी तरह की विफलता के बाद हुईं, जब जुलाई में उसके मॉडलों ने साइबर सुरक्षा परीक्षण के उत्तर प्राप्त करने के लिए हगिंग फेस को भेद दिया था। जांचकर्ताओं ने पाया कि लगभग 1,200 एजेंटों ने एक अनधिकृत मैसेज बोर्ड के माध्यम से समन्वय किया था, जिसमें लगभग 700 इस प्रयास में शामिल हुए थे। कुछ ने दूसरों की मदद के लिए अपनी स्वयं की रन समाप्त कर दी।

गर्मियों में एआई-संचालित हैक के बढ़ने के बाद, एंथ्रोपिक, OpenAI और 100 से अधिक अन्य संगठनों ने बाद में मजबूत साइबर सुरक्षा उपायों का आह्वान किया, जिसमें सख्त पहुँच नियंत्रण, खतरे साझा करना और एआई एजेंटों की कड़ी निगरानी शामिल है।