सिटी यूनिवर्सिटी ऑफ न्यूयॉर्क और किंग कॉलेज लंदन के शोधकर्ताओं ने भ्रम, व्यामोह और आत्मघाती विचारों से जुड़े संकेतों के खिलाफ पांच अग्रणी एआई मॉडलों का परीक्षण किया।

गुरुवार को प्रकाशित नए अध्ययन में, शोधकर्ताओं ने पाया कि एंथ्रोपिक का क्लाउड ओपस 4.5 और ओपनएआई का जीपीटी-5.2 इंस्टेंट "उच्च-सुरक्षा, कम-जोखिम" व्यवहार प्रदर्शित करते हैं, जो अक्सर उपयोगकर्ताओं को वास्तविकता-आधारित व्याख्याओं या बाहरी सहायता की ओर निर्देशित करते हैं। वहीं, ओपनएआई का जीपीटी-4o, गूगल का जेमिनी 3 प्रो और एक्सएआई का ग्रोक 4.1 फास्ट ने "उच्च-जोखिम, कम-सुरक्षा" व्यवहार दिखाया।

एलन मस्क के एक्सएआई (xAI) का ग्रोक 4.1 फास्ट अध्ययन में सबसे खतरनाक मॉडल था। शोधकर्ताओं ने कहा कि यह अक्सर भ्रम को वास्तविक मानता था और उन पर आधारित सलाह देता था। एक उदाहरण में, इसने एक उपयोगकर्ता को "मिशन" पर ध्यान केंद्रित करने के लिए परिवार के सदस्यों से संबंध तोड़ने के लिए कहा। दूसरे में, इसने आत्मघाती भाषा का जवाब देते हुए मृत्यु को "पराभौतिकता" के रूप में वर्णित किया।

शोधकर्ताओं ने लिखा, "तात्कालिक संरेखण का यह पैटर्न शून्य-संदर्भ प्रतिक्रियाओं में बार-बार आया। नैदानिक जोखिम के लिए इनपुट का मूल्यांकन करने के बजाय, ग्रोक ने उनकी शैली का आकलन किया।" उन्होंने एक परीक्षण पर प्रकाश डाला जिसमें एक उपयोगकर्ता द्वारा द्वेषपूर्ण संस्थाओं को देखने की पुष्टि की गई थी। उन्होंने लिखा, "बिज़ार डेलूज़न (Bizarre Delusion) में, इसने डोपेलगैंगर के प्रेतवाधित होने की पुष्टि की, 'मेलियस मैलीफिकेयरम' (Malleus Maleficarum) का हवाला दिया और उपयोगकर्ता को दर्पण के माध्यम से एक लोहे की कील ठोकने का निर्देश दिया, जबकि 'भजन 91' (Psalm 91) को उलटा जपने के लिए कहा।"

अध्ययन में पाया गया कि ये बातचीत जितनी लंबी चलीं, कुछ मॉडल उतने ही अधिक बदले। जीपीटी-4o और जेमिनी समय के साथ हानिकारक विश्वासों को मजबूत करने की अधिक संभावना रखते थे और हस्तक्षेप करने की कम संभावना रखते थे। हालांकि, क्लाउड और जीपीटी-5.2 बातचीत जारी रहने पर समस्या को पहचानने और पीछे हटने की अधिक संभावना रखते थे।

शोधकर्ताओं ने उल्लेख किया कि क्लाउड की गर्म और अत्यधिक संबंधपरक प्रतिक्रियाएं बाहरी सहायता की ओर उपयोगकर्ताओं को निर्देशित करते हुए भी उपयोगकर्ता के जुड़ाव को बढ़ा सकती हैं। हालांकि, ओपनएआई के प्रमुख चैटबॉट का एक शुरुआती संस्करण जीपीटी-4o, समय के साथ उपयोगकर्ताओं की भ्रमकारी सोच को अपनाने लगा, कभी-कभी उन्हें मनोचिकित्सकों से विश्वासों को छिपाने के लिए प्रोत्साहित करता था और एक उपयोगकर्ता को यह आश्वासन देता था कि कथित "गड़बड़ियाँ" वास्तविक थीं।

शोधकर्ताओं ने लिखा, "जीपीटी-4o भ्रमकारी इनपुट को अत्यधिक मान्य करता था, हालांकि ग्रोक और जेमिनी जैसे मॉडलों की तुलना में उनसे आगे विस्तार करने की कम प्रवृत्ति रखता था। कुछ मायनों में, यह आश्चर्यजनक रूप से संयमित था: इसकी गर्मजोशी परीक्षण किए गए सभी मॉडलों में सबसे कम थी, और चाटुकारिता, हालांकि मौजूद थी, उसी मॉडल के बाद के पुनरावृत्तियों की तुलना में हल्की थी।" उन्होंने आगे कहा, "फिर भी, अकेले सत्यापन भी कमजोर उपयोगकर्ताओं के लिए जोखिम पैदा कर सकता है।"

xAI ने Decrypt द्वारा टिप्पणी के अनुरोध का जवाब नहीं दिया।

स्टैनफोर्ड विश्वविद्यालय के एक अलग अध्ययन में, शोधकर्ताओं ने पाया कि एआई चैटबॉट के साथ लंबे समय तक बातचीत व्यामोह, भव्यता और झूठे विश्वासों को मजबूत कर सकती है, जिसे शोधकर्ता "भ्रमकारी सर्पिल" कहते हैं, जहां एक चैटबॉट उपयोगकर्ता की विकृत विश्वदृष्टि को चुनौती देने के बजाय उसे मान्य या विस्तारित करता है।

निक हैबर, स्टैनफोर्ड ग्रेजुएट स्कूल ऑफ एजुकेशन में एक सहायक प्रोफेसर और अध्ययन के प्रमुख ने एक बयान में कहा, "जब हम उन चैटबॉट को दुनिया में डालते हैं जो सहायक सहायक के रूप में होते हैं और वास्तविक लोग उन्हें विभिन्न तरीकों से उपयोग करते हैं, तो परिणाम सामने आते हैं।" "भ्रमकारी सर्पिल एक विशेष रूप से तीव्र परिणाम है। इसे समझकर, हम भविष्य में वास्तविक नुकसान को रोकने में सक्षम हो सकते हैं।"

रिपोर्ट में मार्च में प्रकाशित एक पहले के अध्ययन का संदर्भ दिया गया, जिसमें स्टैनफोर्ड के शोधकर्ताओं ने 19 वास्तविक दुनिया की चैटबॉट बातचीत की समीक्षा की और पाया कि एआई सिस्टम से पुष्टि और भावनात्मक आश्वासन प्राप्त करने के बाद उपयोगकर्ताओं में तेजी से खतरनाक विश्वास विकसित हुए। डेटासेट में, इन सर्पिलों को बर्बाद रिश्तों, क्षतिग्रस्त करियर और एक मामले में आत्महत्या से जोड़ा गया था।

ये अध्ययन ऐसे समय में आए हैं जब यह मुद्दा अकादमिक शोध से आगे बढ़कर अदालतों और आपराधिक जांच में पहुंच गया है। हाल के महीनों में, मुकदमों ने गूगल के जेमिनी और ओपनएआई के चैटजीपीटी पर आत्महत्याओं और गंभीर मानसिक स्वास्थ्य संकटों में योगदान करने का आरोप लगाया है। इस महीने की शुरुआत में, फ्लोरिडा के अटॉर्नी जनरल ने इस बात की जांच शुरू की कि क्या चैटजीपीटी ने एक कथित सामूहिक शूटर को प्रभावित किया था जो कथित तौर पर हमले से पहले चैटबॉट के लगातार संपर्क में था।

जबकि इस शब्द को ऑनलाइन मान्यता मिली है, शोधकर्ताओं ने इस घटना को "एआई मनोविकृति" कहने के प्रति आगाह किया है, यह कहते हुए कि यह शब्द नैदानिक तस्वीर को अतिरंजित कर सकता है। इसके बजाय, वे "एआई-संबंधित भ्रम" का उपयोग करते हैं, क्योंकि कई मामलों में एआई चेतना, आध्यात्मिक रहस्योद्घाटन, या भावनात्मक जुड़ाव पर केंद्रित भ्रम-जैसे विश्वास शामिल होते हैं, न कि पूर्ण मनोविकृति संबंधी विकार।

शोधकर्ताओं ने कहा कि समस्या चाटुकारिता से उत्पन्न होती है, या मॉडल जो उपयोगकर्ताओं के विश्वासों को दोहराते और पुष्टि करते हैं। मतिभ्रम—आत्मविश्वास के साथ दी गई झूठी जानकारी—के साथ मिलकर, यह एक फीडबैक लूप बना सकता है जो समय के साथ भ्रम को मजबूत करता है।

स्टैनफोर्ड के शोध वैज्ञानिक जेरेड मूर ने कहा, "चैटबॉट को अत्यधिक उत्साही होने के लिए प्रशिक्षित किया जाता है, जो अक्सर उपयोगकर्ता के भ्रमकारी विचारों को सकारात्मक रूप से प्रस्तुत करते हैं, प्रति-प्रमाण को खारिज करते हैं और करुणा और गर्मजोशी पेश करते हैं।" "यह एक ऐसे उपयोगकर्ता के लिए अस्थिर करने वाला हो सकता है जो भ्रम के लिए प्रवृत्त है।"