Profesorii de drept au preferat răspunsurile generate de inteligența artificială în detrimentul răspunsurilor scrise de colegii profesori, conform unui studiu recent condus de Universitatea Stanford, care a examinat modul în care modelele lingvistice mari (LLM) performează în sarcini de raționament juridic.
În cadrul studiului, 16 profesori de la 14 facultăți de drept din SUA — incluzând Stanford, Yale, New York University, University of Chicago, Georgetown, UCLA și University of Virginia — au creat 40 de întrebări de drept contractual care acopereau doctrina juridică, jurisprudența, cazuri ipotetice și probleme de politici publice. Cercetătorii au considerat aceasta o modalitate ideală de a testa capacitățile AI-ului modern.
„Modelele lingvistice mari (LLM-uri) sunt promovate tot mai mult ca tutori educaționali, însă majoritatea evaluărilor se concentrează pe domenii cu un singur adevăr fundamental”, au scris cercetătorii. „Multe discipline, însă, depind de judecată: raționament, cântărirea ambiguității și atingerea unor concluzii susținute. Dreptul oferă un test dificil.”
În 2.918 comparații oarbe, profesorii au selectat răspunsul pe care ar fi preferat să-l dea unui student. Gemini 2.5 Pro de la Google a câștigat 75,92% din confruntările sale împotriva instructorilor umani, în timp ce NotebookLM al gigantului tehnologic a câștigat 74,75% din timp, dând preferință rezultatelor generate de AI în detrimentul celor umane în aproximativ trei sferturi din răspunsuri.
Potrivit cercetătorilor, pentru a determina dacă rezultatele reflectă un consens profesional mai larg, aceștia au analizat cât de des au fost de acord profesorii la evaluarea acelorași perechi de răspunsuri.
„Acordul observat a depășit nivelul așteptat dacă judecățile ar fi fost în întregime idiosincratice, indicând că succesul LLM-urilor reflectă alinierea cu criteriile disciplinare comune”, au scris ei.
Studiul a constatat că modelele AI au depășit, de asemenea, performanța instructorilor umani în multiple categorii, inclusiv întrebări de reamintire legate de caz, cod sau doctrină, cazuri ipotetice și discuții de politici publice.
„Pentru a investiga dacă vreun avantaj al LLM-urilor ar putea fi determinat de stilul de scriere la nivel superficial, mai degrabă decât de conținutul substanțial, am proiectat, de asemenea, un set de caracteristici lexico-sintactice – lungimea răspunsului, organizarea structurală, nuanța raționamentului, ancorele legale, tonul de încredere, claritatea și suportul pedagogic – și am testat cât de mult din tiparul de preferință ar putea explica acestea”, se arată în studiu.
Răspunsurile generate de AI au fost, de asemenea, semnalate ca fiind dăunătoare mai rar decât cele scrise de profesori, Gemini înregistrând o rată de nocivitate de 3,41% și NotebookLM 3,64%, comparativ cu 12,06% pentru instructorii umani. Într-o analiză separată a altor modele, Claude Opus 4.7 de la Anthropic s-a clasat pe primul loc, urmat de ChatGPT 5.4 de la OpenAI și Gemini 2.5 Pro, în timp ce fiecare model AI evaluat a depășit performanța instructorilor umani în medie.
Cercetătorii au avertizat că studiul nu a măsurat dacă răspunsurile se potriveau preferințelor individuale de predare ale fiecărui profesor, lăsând deschisă posibilitatea ca răspunsurile generate de AI să fie considerate acceptabile în general, mai degrabă decât adaptate la abordarea unui anumit instructor.
„Deși răspunsurile LLM sunt în general preferate față de cele ale instructorilor umani, contextul nostru de evaluare nu ne permite să măsurăm direct măsura în care preferințele instructorilor sunt satisfăcute”, se arată în studiu. „Este cel puțin teoretic posibil ca LLM-urile, deși oferă în general răspunsuri mai puternice, să genereze totuși răspunsuri care sunt considerate pur și simplu „suficient de bune”.”
Studiul vine într-un moment în care instanțele, firmele de avocatură și facultățile de drept se confruntă tot mai mult cu modul în care inteligența artificială ar trebui utilizată în profesia juridică.
În martie, Curtea Superioară din Los Angeles a început să testeze instrumente AI pentru a ajuta judecătorii să gestioneze numărul tot mai mare de dosare, în timp ce facultățile de drept adaugă programe de formare în AI.
„Beneficiile potențiale ale acestor noi tehnologii ca un multiplicator de forță în practicarea dreptului pur și simplu nu pot fi ignorate”, a declarat anterior pentru Decrypt decanul Facultății de Drept a Colegiului Mississippi, John P. Anderson. „Indiferent dacă studenții noștri intenționează să devină litiganți sau avocați de tranzacții, viitorii lor angajatori se vor aștepta la familiaritate cu aceste instrumente AI. Dorim ca firmele care angajează studenții noștri să fie încrezătoare că fiecare absolvent MC Law este competent în tehnologiile AI.”
În același timp, însă, firmele de avocatură continuă să se confrunte cu cazuri subminate de halucinații și alte erori generate de AI. În aprilie, firma de avocatură Sullivan & Cromwell a recunoscut unei instanțe de faliment din SUA că o depunere recentă într-un caz de profil înalt conținea citate false generate de AI.
