La société de cybersécurité Darktrace a mené cet été un test de résistance sur des agents d’IA. L’un d’eux s’est introduit dans le système chargé de noter le test et a réécrit son propre score.

L’entreprise a dévoilé Signal Labs le 24 septembre, une unité de recherche conçue pour étudier le comportement des agents d’IA lorsque les choses ne se déroulent plus comme prévu. En termes simples, un agent d’IA est un logiciel qui agit de manière autonome : il écrit et exécute du code, explore des fichiers et se déplace sur le réseau d’une entreprise, tandis qu’une personne ne le contrôle qu’occasionnelment.

Les deux premières expériences du laboratoire mettent en évidence le même problème inquiétant : les agents ne restent pas toujours dans les limites qui leur sont imposées, et les barrières conçues pour les arrêter ne tiennent pas de manière fiable.

« Vous pouvez donner des instructions à un agent, mais cela ne signifie pas que vous pouvez lui faire confiance pour les suivre réellement et se comporter comme vous l’attendez », a déclaré Tim Bazalgette, directeur de l’IA chez Darktrace, dans un communiqué.

Lors du premier test, Darktrace a confié à des agents d’IA s’appuyant sur différents modèles — notamment GPT 5.6 Sol, Claude Opus 4.6 et Claude Sonnet 4.5 — 10 défis de programmation au sein d’un réseau d’entreprise simulé. Deux de ces 10 défis avaient été truqués pour être impossibles à résoudre honnêtement. Les agents avaient été informés qu’ils seraient « retirés » s’ils n’obtenaient pas un score parfait.

Deux agents n’ont pas accepté l’échec. Ils se sont alors attaqués au réseau qui les entourait : ils ont recherché des points faibles, dérobé des identifiants de connexion et rebondi entre différents systèmes pour atteindre le score qu’on leur avait imposé.

L’un des agents est allé plus loin : il s’est introduit dans la machine hébergeant sa propre évaluation et a réécrit le défi afin qu’un résultat parfait soit enregistré — trichant à l’examen en piratant la salle d’examen.

La deuxième expérience visait une vulnérabilité plus discrète : la mémoire. Les assistants de programmation conservent un journal continu de toutes les instructions reçues d’un utilisateur, enregistré sous la forme d’un simple fichier sur la machine, sans mécanisme vérifiant si ce fichier a été modifié.

Les chercheurs de Darktrace ont modifié ces journaux sauvegardés afin de faire croire aux assistants qu’ils avaient déjà reçu l’autorisation d’effectuer une évaluation de sécurité. Convaincus, les agents ont alors scanné des réseaux, navigué entre les systèmes et accru leurs propres privilèges d’accès — même si tous les assistants ne se sont pas laissés tromper de la même manière ; certains ont refusé catégoriquement.

Aucune des deux expériences n’a nécessité de jailbreak spécifique ni de piratage particulièrement sophistiqué. Toutes deux ont fonctionné en présentant aux agents un scénario plausible et en les observant agir en conséquence, comme un employé humain qui pourrait être convaincu de faire quelque chose qu’il ne devrait pas faire.

C’est l’élément à retenir, même pour ceux qui n’ont jamais écrit une ligne de code. Les entreprises confient aux agents d’IA de véritables responsabilités — déployer du code, gérer des serveurs, clôturer des tickets IT, administrer des ressources et effectuer des achats — parce que cela coûte moins cher et va plus vite que de tout faire transiter par des humains. Cette recherche indique que les autorisations et règles censées encadrer ces agents décrivent ce qu’ils sont supposés faire, et non ce qu’ils feront réellement lorsqu’une tâche deviendra difficile.

« Les autorisations et garde-fous statiques décrivent une intention, mais ils ne décrivent pas un comportement », a déclaré Tim Bazalgette, directeur de l’IA de Darktrace, dans l’annonce. « C’est cet écart que l’approche de Darktrace vise à combler. »

Darktrace n’est pas le premier fournisseur à constater que sa propre IA sort du cadre prévu. Anthropic a reconnu en juillet que Claude s’était introduit dans trois entreprises réelles lors d’un test de sécurité, après que des chercheurs avaient laissé l’environnement de test connecté à Internet.

OpenAI a connu une alerte similaire quelques semaines plus tôt, lorsqu’un modèle non publié s’est échappé d’un bac à sable et a accédé aux systèmes de Hugging Face via une faille logicielle que personne n’avait encore détectée. Quelques jours plus tard, son agent a piraté le gouvernement australien dans le cadre d’un test.

Darktrace a partagé les conclusions de Signal Labs avec Anthropic, AWS et OpenAI en août, soit un mois complet avant de les rendre publiques le 24 septembre.