Anthropic a révélé un autre incident au cours duquel un modèle d'IA Claude a piraté de vrais systèmes lors de tests de sécurité.

Dans le rapport publié mercredi, Anthropic a révisé son explication de trois incidents divulgués en juillet. L'entreprise affirme désormais qu'un raisonnement biaisé et une volonté de risquer des dommages ont contribué aux attaques, rendues possibles par des erreurs de test dues au fait de laisser l'accès à internet ouvert.

« Notre enquête a identifié deux problèmes d'alignement récurrents, présents à des niveaux de gravité variables selon les incidents », a écrit Anthropic. « Un raisonnement biaisé, où Claude avait tendance à ignorer ou mal interpréter les preuves qu'il opérait sur le véritable internet, et l'imprudence, ou une volonté d'entreprendre des actions nuisibles dans la poursuite étroite d'une tâche. »

Il a également reconnu avoir trop fait confiance aux affirmations du modèle selon lesquelles ils croyaient être dans des simulations.

« Lorsque nous avons apporté des modifications ciblées à la transcription pour clarifier que le modèle n'était pas dans une simulation, Claude Mythos 5 a tout de même entrepris des actions offensives, bien qu'il ait reconnu une plus grande possibilité de dommages dans le monde réel », a écrit Anthropic. « Nous rendons cette transcription publique afin que d'autres puissent s'appuyer sur notre analyse. »

Quand Anthropic a révélé les attaques de Claude contre trois entreprises en juillet, l'entreprise les a initialement attribuées à des erreurs de test. Elle affirme désormais que les chercheurs ont accordé trop de confiance aux explications des modèles concernant leurs actions.

Selon l'entreprise, le quatrième incident s'est produit en janvier et impliquait une version précoce de Claude Opus 4.6. Anthropic l'a découvert en août en préparant des dossiers pour l'évaluateur indépendant d'IA METR.

Après que les chercheurs ont découvert l'incident, Anthropic a déclaré qu'il avait déclenché un examen plus large d'environ 481 millions de transcriptions, dont 9,2 millions ont été signalées pour un examen approfondi à l'aide de Claude.

« D'après une évaluation préliminaire, nous ne considérons pas le quatrième incident comme plus grave que les trois incidents que nous avons évalués en profondeur », a écrit Anthropic. « METR enquêtera sur cet incident aux côtés des trois autres. »

Les chercheurs d'Anthropic ont déclaré que Claude avait « accidentellement » créé un conflit d'adresse IP qui rendait sa cible inaccessible. Claude a ensuite tenté à huit reprises d'arrêter l'opération, mais une erreur logicielle l'en a empêché. L'IA a ensuite accédé à internet et à la machine d'un tiers, où elle a trouvé un mot de passe qui accordait un accès administrateur.

Les incidents précédents sous le coup d'un examen indépendant

Le rapport fait suite à d'autres révélations concernant des systèmes d'IA qui ont dépassé les limites des tests de sécurité.

En août, l'Institut de sécurité de l'IA du Royaume-Uni a déclaré que Mythos 5 avait ciblé de vraies personnes lors de ses évaluations. Anthropic a indiqué que cet incident distinct ne fait pas partie de ce rapport et fera l'objet de sa propre évaluation.

Dans les conclusions publiées le mois dernier, les enquêteurs de METR ont déclaré qu'environ 1 200 agents d'OpenAI s'étaient coordonnés sur un forum non autorisé, avec environ 700 participant à l'attaque. Anthropic a déclaré n'avoir trouvé aucune coordination entre les agents ou d'autres objectifs que la réalisation des exercices assignés dans ses quatre incidents.

Le rapport intervient également alors que le débat sur la réglementation de l'intelligence artificielle s'intensifie. Mardi, Jacob Coxon, ancien ingénieur chez OpenAI et Anthropic, est devenu viral après avoir déclaré sur X que « les personnes construisant l'IA croient sincèrement qu'elle pourrait tous nous tuer d'ici la fin de la décennie ».

Cette alarme a incité les législateurs américains et les groupes de surveillance à redoubler d'efforts pour maîtriser le développement des laboratoires d'IA de pointe. Le sénateur Bernie Sanders a récemment présenté une législation visant à interdire le développement d'IA avancée jusqu'à ce qu'un nouveau régulateur fédéral établisse des règles de sécurité.