Firma hukum Sullivan & Cromwell telah mengakui kepada pengadilan kebangkrutan AS bahwa sebuah pengajuan baru-baru ini dalam kasus tingkat tinggi mengandung kesalahan yang dihasilkan oleh kecerdasan buatan, termasuk kutipan-kutipan yang direkayasa.
“Kami sangat menyesal bahwa ini telah terjadi,” tulis Andrew Dietderich, kepala restrukturisasi firma tersebut, kepada Hakim Martin Glenn, mengatakan bahwa dokumen tersebut menyertakan "halusinasi" AI yang menghasilkan otoritas fiktif dan memutarbalikkan yang sudah ada.
Pengungkapan ini disampaikan dalam surat kepada Pengadilan Kebangkrutan AS untuk Distrik Selatan New York, di mana firma tersebut mewakili likuidator yang ditunjuk pengadilan dari British Virgin Islands. Kesalahan-kesalahan tersebut muncul dalam mosi tanggal 9 April dan firma tersebut mengatakan bahwa aturannya mengenai penggunaan AI tidak diikuti selama penyusunan.
Kasus ini melibatkan upaya para likuidator tersebut untuk mengejar klaim yang terkait dengan Prince Group dan pemiliknya, Chen Zhi. Jaksa menuduh Chen mengarahkan skema penipuan yang menargetkan korban di seluruh dunia dan telah berupaya memulihkan miliaran dolar dalam bentuk aset kripto yang mereka katakan terkait dengan aktivitas tersebut. Dia ditahan awal tahun ini di Kamboja dan kemudian dipulangkan ke Tiongkok.
Melalui proses Bab 15 di AS, para likuidator mencari pengakuan atas wewenang mereka untuk bertindak atas nama kreditor dan terduga korban. Prince Group, yang didirikan di British Virgin Islands, telah dikaitkan oleh otoritas AS dengan operasi penipuan berskala besar di Asia Tenggara dan telah diberi sanksi oleh pemerintah Inggris dan AS.
Menurut pengajuan yang dikoreksi, pengajuan bulan April salah menyatakan yurisprudensi di beberapa tempat dan menyertakan kutipan yang tidak mendukung proposisi yang dikaitkan dengannya, sementara beberapa di antaranya tampak tidak memiliki dasar sama sekali. Firma tersebut menarik mosi asli dan telah mengajukan versi yang direvisi.
Pengacara untuk Prince Group dan Chen di Boies Schiller Flexner awalnya mengidentifikasi kesalahan-kesalahan tersebut. Mereka mengatakan bahwa bahasa yang dikaitkan dengan Undang-Undang Kebangkrutan AS tidak dapat ditemukan dan bahwa beberapa otoritas disalahartikan atau salah diidentifikasi. Dalam satu contoh, mereka mengatakan, kasus yang dikutip merujuk pada keputusan yang berbeda di sirkuit lain.
Dalam pengajuan terpisah, para terdakwa mengatakan setidaknya 28 kutipan keliru, termasuk kutipan yang dikaitkan dengan pengadilan yang tidak ada. Mereka berargumen bahwa waktu koreksi itu merugikan karena pengajuan yang direvisi datang setelah mereka mengajukan keberatan, dan meminta pengadilan untuk menunda sidang yang dijadwalkan dan mengadakan konferensi status.
Sullivan & Cromwell mengatakan kebijakannya mewajibkan pengacara untuk menyelesaikan pelatihan sebelum menggunakan alat AI dan untuk memverifikasi secara independen semua output.
"Sebelum setiap pengacara Firma diberikan akses ke alat AI generatif, pengacara harus menyelesaikan dua modul pelatihan wajib, yang penyelesaiannya dilacak dan diverifikasi. Pelatihan tersebut berulang kali menekankan risiko 'halusinasi' AI, termasuk pemalsuan kutipan kasus, salah tafsir otoritas, dan kutipan yang tidak akurat," katanya.
"Ini menginstruksikan pengacara untuk 'tidak mempercayai apa pun dan memverifikasi segalanya' dan menjelaskan bahwa kegagalan untuk memverifikasi secara independen output yang dihasilkan AI merupakan pelanggaran kebijakan Firma."
Firma tersebut mengatakan tinjauan yang lebih luas menemukan masalah penyusunan minor tambahan dalam pengajuan lain, yang diatribusikan pada kesalahan manusia daripada AI. Firma tersebut tidak mengidentifikasi pengacara yang menyiapkan mosi asli.
Insiden ini menambah daftar panjang kesalahan terkait AI dalam praktik hukum seiring dengan firma-firma yang menguji alat-alat yang dirancang untuk mempercepat penelitian dan penyusunan. Pengadilan baru-baru ini telah memberi sanksi atau mengkritik pengacara karena mengajukan dokumen dengan referensi yang direkayasa atau tidak akurat yang dihasilkan oleh AI. Di Australia, seorang pengacara dicabut kemampuannya untuk berpraktik sebagai pengacara utama tahun lalu karena penggunaan AI.
Fakultas hukum mulai mewajibkan pengajaran tentang teknologi ini, sementara hakim senior telah memperingatkan bahwa penyalahgunaan dapat memengaruhi integritas persidangan.
Keputusan-keputusan terbaru juga telah membahas bagaimana AI sesuai dengan kerangka hukum yang ada, termasuk apakah interaksi dengan alat-alat tersebut dilindungi oleh privilese. Pada saat yang sama, beberapa pengadilan sedang menguji coba sistem AI untuk membantu mengelola beban kasus yang berat.
