Los profesores de derecho prefirieron las respuestas generadas por inteligencia artificial sobre las escritas por colegas profesores, según un estudio reciente liderado por la Universidad de Stanford que examinó cómo los modelos de lenguaje grandes se desempeñan en tareas de razonamiento legal.

En el estudio, 16 profesores de 14 facultades de derecho de EE. UU.—incluidas Stanford, Yale, la Universidad de Nueva York, la Universidad de Chicago, Georgetown, UCLA y la Universidad de Virginia—crearon 40 preguntas de derecho contractual que cubrían doctrina legal, jurisprudencia, supuestos hipotéticos y cuestiones de política. Los investigadores lo vieron como una forma ideal de probar las capacidades de la IA moderna.

“Los modelos de lenguaje grandes (LLM) son cada vez más promovidos como tutores educativos, sin embargo, la mayoría de las evaluaciones se centran en dominios con una única verdad fundamental”, escribieron los investigadores. “Muchas disciplinas, sin embargo, dependen del juicio: el razonamiento, la ponderación de la ambigüedad y la llegada a conclusiones defendibles. El derecho ofrece una prueba rigurosa.”

En 2.918 comparaciones a ciegas, los profesores seleccionaron la respuesta que preferirían dar a un estudiante. Gemini 2.5 Pro de Google ganó el 75,92% de sus enfrentamientos contra instructores humanos, mientras que NotebookLM del gigante tecnológico ganó el 74,75% de las veces, dando a los resultados generados por IA la preferencia sobre los humanos en aproximadamente tres cuartas partes de las respuestas.

Según los investigadores, para determinar si los resultados reflejaban un consenso profesional más amplio, los investigadores analizaron con qué frecuencia los profesores coincidían al evaluar los mismos pares de respuestas.

“La concordancia observada superó el nivel esperado si los juicios fueran completamente idiosincrásicos, lo que indica que el éxito de los LLM refleja una alineación con los criterios disciplinarios comunes”, escribieron.

El estudio encontró que los modelos de IA también superaron a los instructores humanos en múltiples categorías, incluyendo preguntas de recuperación relacionadas con casos, códigos o doctrina, supuestos hipotéticos y discusiones de políticas.

“Para investigar si alguna ventaja de los LLM podría estar impulsada por un estilo de escritura superficial en lugar de un contenido sustantivo, diseñamos adicionalmente un conjunto de características léxico-sintácticas—longitud de la respuesta, organización estructural, matices de razonamiento, anclajes legales, tono de confianza, claridad y apoyo pedagógico—y probamos cuánto de este patrón de preferencia podían explicar”, dijo el estudio.

Las respuestas generadas por IA también fueron marcadas como dañinas con menos frecuencia que las escritas por profesores, con Gemini registrando una tasa de nocividad del 3,41% y NotebookLM del 3,64%, en comparación con el 12,06% para los instructores humanos. En un análisis separado de modelos adicionales, Claude Opus 4.7 de Anthropic ocupó el primer lugar, seguido por ChatGPT 5.4 de OpenAI y Gemini 2.5 Pro, mientras que cada modelo de IA evaluado superó a los instructores humanos en promedio.

Los investigadores advirtieron que el estudio no midió si las respuestas coincidían con las preferencias de enseñanza individuales de cada profesor, dejando abierta la posibilidad de que las respuestas generadas por IA fueran vistas como generalmente aceptables en lugar de adaptadas al enfoque de un instructor en particular.

“Si bien las respuestas de los LLM son generalmente preferidas sobre las de los instructores humanos, nuestro entorno de evaluación no nos permite medir directamente hasta qué punto se satisfacen las preferencias de los instructores”, dijo el estudio. “Es al menos teóricamente posible que los LLM, aunque generalmente ofrecen respuestas más sólidas, aún generen respuestas que simplemente se consideren ‘suficientemente buenas’.”

El estudio surge en un momento en que tribunales, bufetes de abogados y facultades de derecho lidian cada vez más con cómo debe utilizarse la inteligencia artificial en la profesión legal.

En marzo, el Tribunal Superior de Los Ángeles comenzó a probar herramientas de IA para ayudar a los jueces a gestionar el creciente número de casos, mientras que las facultades de derecho están añadiendo programas de capacitación en IA.

“Los beneficios potenciales de estas nuevas tecnologías como un multiplicador de fuerza en la práctica del derecho simplemente no pueden ser ignorados”, dijo anteriormente a Decrypt John P. Anderson, decano de la Facultad de Derecho de Mississippi College. “Ya sea que nuestros estudiantes planeen ser litigantes o abogados transaccionales, sus futuros empleadores esperarán familiaridad con estas herramientas de IA. Queremos que las firmas que contraten a nuestros estudiantes confíen en que cada graduado de MC Law es competente en tecnologías de IA.

Al mismo tiempo, sin embargo, los bufetes de abogados continúan enfrentándose a casos socavados por alucinaciones y otros errores generados por IA. En abril, el bufete de abogados Sullivan & Cromwell admitió ante un tribunal de quiebras de EE. UU. que una presentación reciente en un caso de alto perfil contenía citas falsas generadas por IA.