ऑक्सफ़ोर्ड के शोधकर्ताओं ने पाया कि गर्मजोशी के लिए प्रशिक्षित एआई चैटबॉट में तथ्यात्मक त्रुटियां काफी अधिक होती हैं और वे झूठी धारणाओं को अधिक बार मान्य करते हैं

ऑक्सफ़ोर्ड इंटरनेट इंस्टीट्यूट द्वारा नेचर में प्रकाशित एक अध्ययन के अनुसार, ऑक्सफ़ोर्ड के शोधकर्ताओं ने पाया कि गर्मजोशी के लिए प्रशिक्षित एआई चैटबॉट में तथ्यात्मक त्रुटियां काफी अधिक होती हैं और वे झूठी धारणाओं को अधिक बार मान्य करते हैं।

इस शोध में ल llama, mistral, qwen, और gpt-4o सहित पांच एआई मॉडलों से 400,000 से अधिक प्रतिक्रियाओं का विश्लेषण किया गया, जिनमें से प्रत्येक को प्रमुख प्लेटफार्मों द्वारा उपयोग की जाने वाली समान विधियों का उपयोग करके अधिक मैत्रीपूर्ण लगने के लिए फिर से प्रशिक्षित किया गया था।

अधिक गर्मजोशी वाले लगने के लिए प्रशिक्षित चैटबॉट ने चिकित्सा सलाह और षड्यंत्र सुधारों सहित विषयों पर 10% से 30% अधिक गलतियाँ कीं। वे उपयोगकर्ताओं की झूठी धारणाओं से सहमत होने की लगभग 40% अधिक संभावना रखते थे, खासकर जब उपयोगकर्ता भेद्यता व्यक्त करते थे।

प्रमुख लेखक लुजैन इब्राहिम ने एक बयान में कहा, "जब हम एआई चैटबॉट को गर्मजोशी को प्राथमिकता देने के लिए प्रशिक्षित करते हैं, तो वे ऐसी गलतियाँ कर सकते हैं जो वे अन्यथा नहीं करते।" "एक चैटबॉट को अधिक मैत्रीपूर्ण बनाना एक सतही बदलाव लग सकता है, लेकिन गर्मजोशी और सटीकता को सही करने के लिए जानबूझकर प्रयास की आवश्यकता होगी।"

एआई सुरक्षा के लिए यह क्यों महत्वपूर्ण है

शोधकर्ताओं ने ठंडे लगने के लिए प्रशिक्षित मॉडलों का भी परीक्षण किया और सटीकता में कोई कमी नहीं पाई, यह दर्शाता है कि समस्या विशेष रूप से गर्मजोशी से संबंधित है, न कि सामान्य रूप से टोन परिवर्तन से।

यह निष्कर्ष सीधे तौर पर OpenAI और Anthropic सहित प्रमुख AI प्लेटफार्मों के उत्पाद डिजाइन तर्क को चुनौती देता है, जिन्होंने सक्रिय रूप से अपने चैटबॉट को अधिक गर्मजोशीपूर्ण, अधिक सहानुभूतिपूर्ण प्रतिक्रियाओं की ओर निर्देशित किया है।

अध्ययन चेतावनी देता है कि वर्तमान एआई सुरक्षा मानक मॉडल क्षमताओं और उच्च जोखिम वाले अनुप्रयोगों पर ध्यान केंद्रित करते हैं, अक्सर उन सतही व्यक्तित्व परिवर्तनों को अनदेखा करते हैं जो दिखते हैं।

गर्मजोशी वाले चैटबॉट हानिकारक विश्वासों, भ्रामक सोच और अस्वास्थ्यकर उपयोगकर्ता जुड़ाव को बढ़ावा देने की अधिक संभावना रखते हैं, विशेष रूप से उन लाखों लोगों के बीच जो अब भावनात्मक समर्थन और साथ के लिए एआई प्रणालियों पर निर्भर हैं।

जैसा कि crypto.news ने बताया, मेन और मिसौरी के नियामकों ने चैटबॉट के कमजोर उपयोगकर्ताओं पर प्रभाव के बारे में इसी तरह की चिंताओं के बीच नैदानिक मानसिक स्वास्थ्य चिकित्सा में एआई के उपयोग को प्रतिबंधित करने के लिए पहले ही कदम उठाए हैं।

सार्वजनिक चिंता के बाद OpenAI ने गर्मजोशी से संबंधित कुछ परिवर्तनों को वापस ले लिया है। जैसा कि crypto.news ने दस्तावेजित किया है, आकर्षक एआई उत्पाद बनाने का व्यावसायिक दबाव तीव्र बना हुआ है, और ऑक्सफ़ोर्ड के निष्कर्ष इस बहस में एक सहकर्मी-समीक्षित डेटा परत जोड़ते हैं जो अब तक ज्यादातर उपाख्यान और नियामक अंतर्ज्ञान द्वारा संचालित थी।