स्टैनफोर्ड यूनिवर्सिटी के नेतृत्व में हुए एक हालिया अध्ययन के अनुसार, जिसमें बड़े भाषा मॉडल के कानूनी तर्क कार्यों पर प्रदर्शन की जांच की गई, कानून के प्रोफेसरों ने साथी प्रोफेसरों द्वारा लिखे गए उत्तरों की तुलना में कृत्रिम बुद्धिमत्ता द्वारा जनरेट किए गए उत्तरों को प्राथमिकता दी।

अध्ययन में, 14 अमेरिकी लॉ स्कूलों (जिसमें स्टैनफोर्ड, येल, न्यूयॉर्क विश्वविद्यालय, शिकागो विश्वविद्यालय, जॉर्जटाउन, यूसीएलए और वर्जीनिया विश्वविद्यालय शामिल हैं) के 16 प्रोफेसरों ने कानूनी सिद्धांत, केस कानून, काल्पनिक स्थितियों और नीतिगत मुद्दों को कवर करते हुए अनुबंध कानून के 40 प्रश्न बनाए। शोधकर्ताओं ने इसे आधुनिक AI की क्षमताओं का परीक्षण करने का एक आदर्श तरीका माना।

शोधकर्ताओं ने लिखा, "बड़े भाषा मॉडल (एलएलएम) को तेजी से शैक्षिक ट्यूटर्स के रूप में बढ़ावा दिया जा रहा है, फिर भी अधिकांश मूल्यांकन एकल सत्य वाले डोमेन पर केंद्रित होते हैं।" "हालांकि, कई विषय निर्णय पर निर्भर करते हैं: तर्क करना, अस्पष्टता का आकलन करना और रक्षात्मक निष्कर्ष पर पहुंचना। कानून एक कठिन परीक्षा प्रस्तुत करता है।"

2,918 ब्लाइंडेड तुलनाओं में, प्रोफेसरों ने वह उत्तर चुना जो वे एक छात्र को देना चाहेंगे। Google के जेमिनी 2.5 प्रो ने मानव प्रशिक्षकों के खिलाफ अपने 75.92% मुकाबलों में जीत हासिल की, जबकि तकनीकी दिग्गज के नोटबुकएलएम ने 74.75% बार जीत हासिल की, जिससे लगभग तीन-चौथाई प्रतिक्रियाओं में AI-जनरेटेड परिणामों को मनुष्यों पर वरीयता मिली।

शोधकर्ताओं के अनुसार, यह निर्धारित करने के लिए कि क्या परिणाम एक व्यापक पेशेवर सहमति को दर्शाते हैं, शोधकर्ताओं ने विश्लेषण किया कि प्रोफेसरों ने समान उत्तर जोड़े का मूल्यांकन करते समय कितनी बार सहमति व्यक्त की।

उन्होंने लिखा, "देखा गया समझौता उस स्तर से अधिक था जिसकी अपेक्षा की जाती यदि निर्णय पूरी तरह से व्यक्तिगत होते, यह दर्शाता है कि एलएलएम की सफलता सामान्य अनुशासनात्मक मानदंडों के साथ संरेखण को दर्शाती है।"

अध्ययन में पाया गया कि AI मॉडल ने कई श्रेणियों में मानव प्रशिक्षकों से बेहतर प्रदर्शन किया, जिसमें मामले, संहिता या सिद्धांत से संबंधित रिकॉल प्रश्न, काल्पनिक स्थितियाँ और नीतिगत चर्चाएँ शामिल थीं।

अध्ययन में कहा गया है, "यह पता लगाने के लिए कि क्या किसी एलएलएम का लाभ सतही लेखन शैली के बजाय ठोस सामग्री से प्रेरित हो सकता है, हमने लेक्सिको-सिंटैक्टिक विशेषताओं का एक सेट भी इंजीनियर किया - उत्तर की लंबाई, संरचनात्मक संगठन, तर्क की बारीकियां, कानूनी आधार, आत्मविश्वास का स्वर, स्पष्टता और शैक्षणिक सहायता - और परीक्षण किया कि वे वरीयता पैटर्न को कितना समझा सकते हैं।"

AI-जनरेटेड उत्तरों को प्रोफेसरों द्वारा लिखे गए उत्तरों की तुलना में कम बार हानिकारक के रूप में चिह्नित किया गया था, जिसमें जेमिनी ने 3.41% हानिकारक दर और नोटबुकएलएम ने 3.64% दर्ज की, जबकि मानव प्रशिक्षकों के लिए यह 12.06% थी। अतिरिक्त मॉडलों के एक अलग विश्लेषण में, एंथ्रोपिक का क्लॉड ओपस 4.7 पहले स्थान पर रहा, उसके बाद ओपनएआई का चैटजीपीटी 5.4 और जेमिनी 2.5 प्रो रहा, जबकि मूल्यांकन किए गए प्रत्येक AI मॉडल ने औसतन मानव प्रशिक्षकों से बेहतर प्रदर्शन किया।

शोधकर्ताओं ने चेतावनी दी कि अध्ययन ने यह नहीं मापा कि उत्तर प्रत्येक प्रोफेसर की व्यक्तिगत शिक्षण प्राथमिकताओं से मेल खाते हैं या नहीं, यह संभावना खुली छोड़ दी कि AI-जनरेटेड प्रतिक्रियाओं को किसी एक प्रशिक्षक के दृष्टिकोण के अनुरूप होने के बजाय आम तौर पर स्वीकार्य माना गया।

अध्ययन में कहा गया है, "जबकि एलएलएम प्रतिक्रियाओं को आम तौर पर मानव प्रशिक्षकों की तुलना में प्राथमिकता दी जाती है, हमारी मूल्यांकन सेटिंग हमें सीधे यह मापने की अनुमति नहीं देती है कि प्रशिक्षक की प्राथमिकताएं किस हद तक पूरी होती हैं।" "यह कम से कम सैद्धांतिक रूप से संभव है कि एलएलएम, हालांकि आम तौर पर मजबूत प्रतिक्रियाएं देते हैं, फिर भी ऐसे उत्तर उत्पन्न करते हैं जिन्हें केवल 'काफी अच्छा' माना जाता है।"

यह अध्ययन ऐसे समय में आया है जब अदालतें, कानून फर्म और लॉ स्कूल इस बात से जूझ रहे हैं कि कानूनी पेशे में कृत्रिम बुद्धिमत्ता का उपयोग कैसे किया जाना चाहिए।

मार्च में, लॉस एंजिल्स सुपीरियर कोर्ट ने न्यायाधीशों को बढ़ते मुकदमों को प्रबंधित करने में मदद करने के लिए AI उपकरणों का परीक्षण शुरू किया, जबकि लॉ स्कूल AI प्रशिक्षण कार्यक्रम जोड़ रहे हैं।

मिसिसिपी कॉलेज स्कूल ऑफ लॉ के डीन जॉन पी. एंडरसन ने पहले Decrypt को बताया था, "कानून के अभ्यास में एक बल गुणक के रूप में इन नई तकनीकों के संभावित लाभों को नजरअंदाज नहीं किया जा सकता।" "चाहे हमारे छात्र मुकदमेबाज या लेनदेन संबंधी वकील बनने की योजना बनाएं, उनके भविष्य के नियोक्ता इन AI उपकरणों से परिचित होने की उम्मीद करेंगे। हम चाहते हैं कि हमारे छात्रों को नियुक्त करने वाली फर्में आश्वस्त हों कि प्रत्येक MC लॉ स्नातक AI तकनीकों में सक्षम है।"

हालांकि, इसी समय, कानून फर्मों को भ्रम और AI-जनित अन्य त्रुटियों से कमजोर हुए मामलों का सामना करना पड़ रहा है। अप्रैल में, कानून फर्म सुलिवन एंड क्रॉमवेल ने अमेरिकी दिवालिया अदालत में स्वीकार किया कि एक हाई-प्रोफाइल मामले में हाल की फाइलिंग में AI द्वारा जनरेट किए गए नकली उद्धरण शामिल थे।