Професори права віддавали перевагу відповідям, згенерованим штучним інтелектом, перед відповідями, написаними колегами-професорами, згідно з нещодавнім дослідженням, проведеним Стенфордським університетом, яке вивчало, як великі мовні моделі виконують завдання з юридичного обґрунтування.
У дослідженні 16 професорів з 14 юридичних шкіл США, включаючи Стенфорд, Єль, Нью-Йоркський університет, Чиказький університет, Джорджтаун, UCLA та Університет Вірджинії, створили 40 запитань з договірного права, що охоплюють правову доктрину, прецедентне право, гіпотетичні ситуації та політичні питання. Дослідники вважали це ідеальним способом перевірки можливостей сучасного ШІ.
«Великі мовні моделі (LLM) все частіше просуваються як освітні наставники, проте більшість оцінок зосереджені на доменах з однією істиною», – написали дослідники. «Багато дисциплін, однак, залежать від суджень: міркувань, зважування неоднозначностей та досягнення обґрунтованих висновків. Право є суворим випробуванням».
У 2 918 сліпих порівняннях професори обирали відповідь, яку вони б радше дали студенту. Gemini 2.5 Pro від Google виграв у 75,92% випадків проти людських інструкторів, тоді як NotebookLM від технологічного гіганта виграв у 74,75% випадків, що дало перевагу згенерованим ШІ результатам над людськими приблизно у трьох чвертях відповідей.
За словами дослідників, щоб визначити, чи відображають результати ширший професійний консенсус, вони проаналізували, наскільки часто професори погоджувалися при оцінці одних і тих же пар відповідей.
«Спостережувана згода перевищила рівень, очікуваний, якби судження були повністю ідіосинкратичними, що вказує на те, що успіх LLM відображає узгодженість із загальними дисциплінарними критеріями», — написали вони.
Дослідження показало, що моделі ШІ також перевершили людських інструкторів у багатьох категоріях, включаючи запитання на відтворення фактів, що стосуються справи, кодексу або доктрини, гіпотетичних ситуацій та обговорень політики.
«Щоб перевірити, чи може будь-яка перевага LLM бути обумовлена поверхневим стилем письма, а не змістовним контентом, ми додатково розробили набір лексико-синтаксичних ознак — довжина відповіді, структурна організація, нюанси міркувань, юридичні прив’язки, тон впевненості, ясність та педагогічна підтримка — і перевірили, наскільки вони могли б пояснити патерн переваг», — йдеться у дослідженні.
Відповіді, згенеровані ШІ, також рідше позначалися як шкідливі, ніж ті, що були написані професорами: Gemini зафіксував 3,41% шкідливого контенту, а NotebookLM – 3,64%, порівняно з 12,06% для людських інструкторів. В окремому аналізі додаткових моделей Claude Opus 4.7 від Anthropic посів перше місце, за ним йшли ChatGPT 5.4 від OpenAI та Gemini 2.5 Pro, при цьому кожна оцінена модель ШІ в середньому перевершила людських інструкторів.
Дослідники застерегли, що дослідження не вимірювало, чи відповідали відповіді індивідуальним уподобанням кожного професора, залишаючи відкритою можливість того, що відповіді, згенеровані ШІ, розглядалися як загалом прийнятні, а не адаптовані до підходу будь-якого конкретного інструктора.
«Хоча відповіді LLM загалом віддають перевагу над відповідями людських інструкторів, наше середовище оцінювання не дозволяє нам безпосередньо виміряти, наскільки задовольняються уподобання інструкторів», — йдеться у дослідженні. «Принаймні теоретично можливо, що LLM, хоча й загалом надають сильніші відповіді, все ж генерують відповіді, які просто розглядаються як «достатньо хороші».
Дослідження відбувається в той час, коли суди, юридичні фірми та юридичні школи все частіше стикаються з питанням, як використовувати штучний інтелект у юридичній професії.
У березні Вищий суд Лос-Анджелеса розпочав тестування інструментів ШІ, щоб допомогти суддям керувати зростаючим обсягом справ, тоді як юридичні школи додають програми навчання ШІ.
«Потенційні переваги цих нових технологій як мультиплікатора сили в юридичній практиці просто не можна ігнорувати», — раніше заявив Дін юридичної школи Міссісіпі-коледжу Джон П. Андерсон для Decrypt. «Незалежно від того, чи планують наші студенти бути судовими адвокатами чи юристами з транзакцій, їхні майбутні роботодавці очікуватимуть знайомства з цими інструментами ШІ. Ми хочемо, щоб фірми, які наймають наших студентів, були впевнені, що кожен випускник MC Law компетентний у технологіях ШІ».
Водночас, однак, юридичні фірми продовжують стикатися зі справами, підірваними галюцинаціями та іншими помилками, згенерованими ШІ. У квітні юридична фірма Sullivan & Cromwell визнала американському суду з питань банкрутства, що нещодавнє подання у гучній справі містило фейкові посилання, згенеровані ШІ.
