Les professeurs de droit ont préféré les réponses générées par l'intelligence artificielle à celles rédigées par leurs collègues professeurs, selon une étude récente menée par l'Université de Stanford qui a examiné les performances des grands modèles linguistiques dans les tâches de raisonnement juridique.

Dans cette étude, 16 professeurs de 14 facultés de droit américaines – dont Stanford, Yale, l'Université de New York, l'Université de Chicago, Georgetown, l'UCLA et l'Université de Virginie – ont créé 40 questions de droit des contrats couvrant la doctrine juridique, la jurisprudence, les cas hypothétiques et les questions de politique. Les chercheurs y ont vu un moyen idéal de tester les capacités de l'IA moderne.

« Les grands modèles linguistiques (LLM) sont de plus en plus promus comme tuteurs éducatifs, mais la plupart des évaluations se concentrent sur des domaines avec une seule vérité fondamentale », ont écrit les chercheurs. « Cependant, de nombreuses disciplines reposent sur le jugement : le raisonnement, l'évaluation de l'ambiguïté et l'atteinte de conclusions défendables. Le droit offre un test rigoureux. »

Dans 2 918 comparaisons à l'aveugle, les professeurs ont choisi la réponse qu'ils préféreraient donner à un étudiant. Gemini 2.5 Pro de Google a remporté 75,92 % de ses confrontations contre des instructeurs humains, tandis que NotebookLM du géant de la technologie a gagné 74,75 % du temps, donnant aux résultats générés par l'IA la préférence sur les humains dans environ les trois quarts des réponses.

Selon les chercheurs, pour déterminer si les résultats reflétaient un consensus professionnel plus large, les chercheurs ont analysé la fréquence à laquelle les professeurs étaient d'accord lors de l'évaluation des mêmes paires de réponses.

« L'accord observé a dépassé le niveau attendu si les jugements étaient entièrement idiosyncratiques, indiquant que le succès des LLM reflète un alignement avec les critères disciplinaires communs », ont-ils écrit.

L'étude a révélé que les modèles d'IA surpassaient également les instructeurs humains dans plusieurs catégories, y compris les questions de rappel concernant les cas, les codes ou la doctrine, les cas hypothétiques et les discussions politiques.

« Pour déterminer si un avantage des LLM pouvait être dû au style d'écriture superficiel plutôt qu'au contenu substantiel, nous avons également conçu un ensemble de caractéristiques lexico-syntaxiques – longueur de la réponse, organisation structurelle, nuance du raisonnement, ancrages juridiques, ton de confiance, clarté et soutien pédagogique – et avons testé dans quelle mesure elles pouvaient expliquer le modèle de préférence », indique l'étude.

Les réponses générées par l'IA ont également été signalées comme nuisibles moins souvent que celles rédigées par les professeurs, Gemini enregistrant un taux de nocivité de 3,41 % et NotebookLM de 3,64 %, contre 12,06 % pour les instructeurs humains. Dans une analyse distincte de modèles supplémentaires, Claude Opus 4.7 d'Anthropic s'est classé premier, suivi de ChatGPT 5.4 d'OpenAI et de Gemini 2.5 Pro, tandis que chaque modèle d'IA évalué a surpassé en moyenne les instructeurs humains.

Les chercheurs ont averti que l'étude n'avait pas mesuré si les réponses correspondaient aux préférences pédagogiques individuelles de chaque professeur, laissant ouverte la possibilité que les réponses générées par l'IA soient considérées comme généralement acceptables plutôt que spécifiquement adaptées à l'approche d'un instructeur donné.

« Bien que les réponses des LLM soient généralement préférées à celles des instructeurs humains, notre cadre d'évaluation ne nous permet pas de mesurer directement la mesure dans laquelle les préférences des instructeurs sont satisfaites », indique l'étude. « Il est au moins théoriquement possible que les LLM, bien que fournissant généralement des réponses plus solides, génèrent néanmoins des réponses qui sont simplement considérées comme « suffisamment bonnes ». »

L'étude intervient alors que les tribunaux, les cabinets d'avocats et les facultés de droit sont de plus en plus confrontés à la question de l'utilisation de l'intelligence artificielle dans la profession juridique.

En mars, la Cour supérieure de Los Angeles a commencé à tester des outils d'IA pour aider les juges à gérer des charges de travail croissantes, tandis que les facultés de droit ajoutent des programmes de formation en IA.

« Les avantages potentiels de ces nouvelles technologies en tant que multiplicateur de force dans la pratique du droit ne peuvent tout simplement pas être ignorés », a déclaré précédemment John P. Anderson, doyen de la faculté de droit du Mississippi College, à Decrypt. « Que nos étudiants envisagent de devenir avocats plaidants ou avocats d'affaires, leurs futurs employeurs s'attendront à une familiarité avec ces outils d'IA. Nous voulons que les cabinets qui embauchent nos étudiants soient convaincus que chaque diplômé de MC Law est compétent en technologies d'IA."

Dans le même temps, cependant, les cabinets d'avocats continuent de faire face à des affaires compromises par des hallucinations et d'autres erreurs générées par l'IA. En avril, le cabinet d'avocats Sullivan & Cromwell a admis devant un tribunal américain des faillites qu'un récent dépôt dans une affaire très médiatisée contenait de fausses citations générées par l'IA.