Advocatenkantoor Sullivan & Cromwell heeft aan een Amerikaanse faillissementsrechtbank toegegeven dat een recente indiening in een spraakmakende zaak fouten bevatte die werden gegenereerd door kunstmatige intelligentie, inclusief verzonnen citaten.
“We betreuren ten zeerste dat dit is gebeurd,” schreef Andrew Dietderich, het hoofd herstructurering van het kantoor, aan rechter Martin Glenn, zeggende dat het document AI-“hallucinaties” bevatte die fictieve autoriteiten produceerden en bestaande verdraaiden.
De openbaring kwam in een brief aan de Amerikaanse faillissementsrechtbank voor het zuidelijke district van New York, waar het kantoor gerechtelijk aangestelde vereffenaars van de Britse Maagdeneilanden vertegenwoordigt. De fouten verschenen in een motie van 9 april en het kantoor zei dat de regels voor het gebruik van AI niet waren gevolgd tijdens de voorbereiding.
De zaak betreft de inspanningen van die vereffenaars om vorderingen na te streven die verband houden met Prince Group en de eigenaar, Chen Zhi. Aanklagers beweren dat Chen scam-verbindingen leidde die wereldwijd slachtoffers viseerden en hebben geprobeerd miljarden dollars aan cryptocurrency terug te vorderen die volgens hen verband houden met de activiteit. Hij werd eerder dit jaar in Cambodja vastgehouden en later gerepatrieerd naar China.
Via Chapter 15-procedures in de VS zoeken de vereffenaars erkenning van hun bevoegdheid om namens crediteuren en vermeende slachtoffers op te treden. Prince Group, opgericht op de Britse Maagdeneilanden, is door Amerikaanse autoriteiten in verband gebracht met grootschalige fraudeoperaties in Zuidoost-Azië en is gesanctioneerd door de regeringen van het VK en de VS.
Volgens een gecorrigeerde indiening gaf de indiening van april op meerdere plaatsen de jurisprudentie verkeerd weer en bevatte het citaten die de daaraan toegeschreven stellingen niet ondersteunden, terwijl sommige helemaal geen basis leken te hebben. Het kantoor trok de oorspronkelijke motie in en heeft een herziene versie ingediend.
Advocaten van Prince Group en Chen bij Boies Schiller Flexner identificeerden de fouten aanvankelijk. Ze zeiden dat taal die aan de Amerikaanse faillissementswetgeving werd toegeschreven niet kon worden gevonden en dat verschillende autoriteiten verkeerd waren gekarakteriseerd of geïdentificeerd. In één geval, zo stelden ze, verwees een aangehaalde zaak naar een andere beslissing in een ander circuit.
In een afzonderlijke indiening zeiden de verweerders dat minstens 28 citaten foutief waren, inclusief citaten die aan de rechtbank werden toegeschreven en die niet bestaan. Ze voerden aan dat de timing van de correctie nadelig was omdat de herziene indiening kwam nadat zij bezwaren hadden ingediend, en verzochten de rechtbank een geplande zitting uit te stellen en een statusoverleg te houden.
Sullivan & Cromwell zei dat haar beleid vereist dat advocaten een training voltooien voordat ze AI-tools gebruiken en om alle output onafhankelijk te verifiëren.
"Voordat een advocaat van het kantoor toegang krijgt tot generatieve AI-tools, moet de advocaat twee verplichte trainingsmodules voltooien, waarvan de voltooiing wordt bijgehouden en geverifieerd. De training benadrukt herhaaldelijk het risico van AI-'hallucinaties', inclusief het verzinnen van jurisprudentiecitaten, verkeerde interpretatie van autoriteiten en onnauwkeurige citaten," aldus het kantoor.
"Het instrueert advocaten om 'niets te vertrouwen en alles te verifiëren' en maakt duidelijk dat het nalaten om door AI gegenereerde output onafhankelijk te verifiëren een schending van het bedrijfsbeleid inhoudt."
Het kantoor zei dat een bredere evaluatie aanvullende kleine opstelproblemen in andere indieningen vond, die het toeschreef aan menselijke fouten in plaats van AI. Het heeft de advocaten die de oorspronkelijke motie opstelden niet geïdentificeerd.
Het incident draagt bij aan een groeiende lijst van AI-gerelateerde misstappen in de juridische praktijk, nu kantoren tools testen die zijn ontworpen om onderzoek en opstellen te versnellen. Rechtbanken hebben onlangs advocaten gesanctioneerd of bekritiseerd voor het indienen van stukken met verzonnen of onnauwkeurige verwijzingen die door AI zijn geproduceerd. In Australië werd een advocaat vorig jaar het recht ontnomen om als hoofdadvocaat te praktiseren vanwege AI-gebruik.
Rechtenfaculteiten beginnen instructie over de technologie te vereisen, terwijl senior rechters hebben gewaarschuwd dat misbruik de integriteit van de procedures kan aantasten.
Recente uitspraken hebben ook behandeld hoe AI past binnen bestaande wettelijke kaders, inclusief de vraag of interacties met dergelijke tools worden beschermd door het voorrecht. Tegelijkertijd testen sommige rechtbanken AI-systemen om te helpen bij het beheer van zware werkdruk.
