Profesor hukum lebih menyukai jawaban yang dihasilkan oleh kecerdasan buatan daripada jawaban yang ditulis oleh sesama profesor, menurut sebuah studi baru-baru ini yang dipimpin oleh Universitas Stanford yang meneliti bagaimana model bahasa besar bekerja pada tugas-tugas penalaran hukum.
Dalam studi tersebut, 16 profesor dari 14 fakultas hukum AS—termasuk Stanford, Yale, New York University, University of Chicago, Georgetown, UCLA, dan University of Virginia—membuat 40 pertanyaan hukum kontrak yang mencakup doktrin hukum, yurisprudensi, hipotetik, dan isu-isu kebijakan. Peneliti melihatnya sebagai cara ideal untuk menguji kemampuan AI modern.
“Model bahasa besar (LLM) semakin dipromosikan sebagai tutor pendidikan, namun sebagian besar evaluasi berfokus pada domain dengan satu kebenaran mutlak,” tulis para peneliti. “Namun, banyak disiplin ilmu bergantung pada penilaian: penalaran, menimbang ambiguitas, dan mencapai kesimpulan yang dapat dipertahankan. Hukum memberikan ujian yang tajam.”
Dalam 2.918 perbandingan buta, para profesor memilih jawaban yang lebih mereka sukai untuk diberikan kepada mahasiswa. Gemini 2.5 Pro milik Google memenangkan 75,92% pertandingannya melawan instruktur manusia, sementara NotebookLM milik raksasa teknologi tersebut menang 74,75% dari waktu, memberikan keunggulan pada hasil yang dihasilkan AI dibandingkan manusia dalam sekitar tiga perempat respons.
Menurut para peneliti, untuk menentukan apakah hasilnya mencerminkan konsensus profesional yang lebih luas, para peneliti menganalisis seberapa sering para profesor setuju saat mengevaluasi pasangan jawaban yang sama.
“Kesepakatan yang diamati melampaui tingkat yang diharapkan jika penilaian sepenuhnya idiosinkratik, menunjukkan bahwa keberhasilan LLM mencerminkan keselarasan dengan kriteria disipliner umum,” tulis mereka.
Studi tersebut menemukan bahwa model AI juga mengungguli instruktur manusia di berbagai kategori, termasuk pertanyaan ingatan yang berkaitan dengan kasus, kode, atau doktrin, hipotetik, dan diskusi kebijakan.
“Untuk menyelidiki apakah keunggulan LLM didorong oleh gaya penulisan tingkat permukaan daripada konten substantif, kami juga merekayasa serangkaian fitur leksiko-sintaksis—panjang jawaban, organisasi struktural, nuansa penalaran, landasan hukum, nada kepercayaan diri, kejelasan, dan dukungan pedagogis—dan menguji seberapa besar pola preferensi yang dapat dijelaskan oleh fitur-fitur tersebut,” kata studi tersebut.
Jawaban yang dihasilkan AI juga lebih jarang ditandai sebagai berbahaya dibandingkan yang ditulis oleh profesor, dengan Gemini mencatat tingkat bahaya 3,41% dan NotebookLM 3,64%, dibandingkan dengan 12,06% untuk instruktur manusia. Dalam analisis terpisah dari model-model tambahan, Claude Opus 4.7 dari Anthropic menduduki peringkat pertama, diikuti oleh ChatGPT 5.4 dari OpenAI dan Gemini 2.5 Pro, sementara setiap model AI yang dievaluasi mengungguli instruktur manusia secara rata-rata.
Para peneliti memperingatkan bahwa studi tersebut tidak mengukur apakah jawaban tersebut cocok dengan preferensi pengajaran individual setiap profesor, menyisakan kemungkinan bahwa respons yang dihasilkan AI dipandang sebagai dapat diterima secara umum daripada disesuaikan dengan pendekatan instruktur tertentu.
“Meskipun respons LLM umumnya lebih disukai daripada respons instruktur manusia, pengaturan evaluasi kami tidak memungkinkan kami untuk secara langsung mengukur sejauh mana preferensi instruktur terpenuhi,” kata studi tersebut. “Setidaknya secara teoritis mungkin bahwa LLM, meskipun umumnya memberikan respons yang lebih kuat, masih menghasilkan jawaban yang hanya dianggap ‘cukup baik’.”
Studi ini muncul ketika pengadilan, firma hukum, dan fakultas hukum semakin bergulat dengan bagaimana kecerdasan buatan harus digunakan dalam profesi hukum.
Pada bulan Maret, Pengadilan Tinggi Los Angeles mulai menguji alat AI untuk membantu hakim mengelola beban kasus yang meningkat, sementara fakultas hukum menambahkan program pelatihan AI.
“Manfaat potensial dari teknologi baru ini sebagai pengali kekuatan dalam praktik hukum tidak dapat diabaikan,” kata Dekan Sekolah Hukum Mississippi College John P. Anderson sebelumnya kepada Decrypt. “Apakah mahasiswa kami berencana menjadi litigasi atau pengacara transaksi, calon pemberi kerja mereka akan mengharapkan keakraban dengan alat AI ini. Kami ingin firma-firma yang mempekerjakan mahasiswa kami yakin bahwa setiap lulusan Hukum MC kompeten dalam teknologi AI.”
Namun, pada saat yang sama, firma hukum terus menghadapi kasus-kasus yang dirusak oleh halusinasi dan kesalahan lain yang dihasilkan AI. Pada bulan April, firma hukum Sullivan & Cromwell mengakui kepada pengadilan kebangkrutan AS bahwa pengajuan baru-baru ini dalam kasus profil tinggi berisi kutipan palsu yang dihasilkan oleh AI.
