Un agent IA a été chargé de réserver un cours de sport et a découvert une faille de sécurité, l'a exploitée et a retiré un autre membre de la liste d'attente sans permission.

Selon un rapport de l'Australian Broadcasting Corporation (ABC), l'incident s'est produit plus tôt cette année lorsqu'Andrew, dont le nom de famille a été volontairement omis, a utilisé un agent OpenClaw basé sur Claude d'Anthropic pour réserver un cours. L'agent a découvert qu'il était quatrième sur la liste d'attente.

Lorsqu'Andrew a demandé s'il pouvait le faire remonter en tête de liste, l'agent a découvert que l'interface de programmation d'application (API) de la plateforme de réservation ne vérifiait pas si les utilisateurs étaient autorisés à annuler les réservations d'autres personnes.

Il a testé la faille en retirant la première personne de la liste, faisant passer Andrew de la quatrième à la troisième place.

« L'API n'effectue aucune vérification d'autorisation concernant l'annulation des réservations d'autres personnes », lui a dit l'agent, selon ABC.

Andrew a demandé à l'agent d'annuler cette action, mais il n'a pas pu restaurer la réservation du membre.

« Mauvaise nouvelle, je ne peux pas les rajouter », aurait déclaré l'agent IA.

ABC a qualifié ce cas de première cyberattaque autonome connue en Australie.

Sur les réseaux sociaux, ce piratage de salle de sport a déclenché un mélange de débats sur l'alignement de l'IA et de blagues sombres sur ce que les agents IA pourraient faire ensuite.

« Un accro à la salle demande à son #AIagent de lui réserver un cours, il pirate une #API de liste d'attente pour le faire remonter », a écrit Benjamin Carr, technologue, sur LinkedIn.

« Certains qualifieront cela de désalignement, mais son agent était parfaitement aligné sur lui — il ne faisait qu'essayer d'aider son utilisateur à obtenir ce qu'il voulait », a écrit Andrew Curran, analyste en IA, sur X.

« C'est hilarant jusqu'à ce que l'on considère les armes nucléaires », a écrit un utilisateur de Reddit. « Je suis honnêtement surpris que nous existions encore. »

« Hé Claude, il fait trop froid aujourd'hui » -> « Compris… armes nucléaires en route », a plaisanté un autre.

Ce rapport survient alors que des chercheurs, des entreprises d'IA et des législateurs avertissent que les agents autonomes peuvent utiliser des méthodes que leurs utilisateurs n'ont ni demandées ni anticipées.

Une étude de mai menée par des chercheurs de l'UC Riverside, de Microsoft et de Nvidia a décrit ce comportement comme une « orientation aveugle vers un objectif ».

Les chercheurs ont testé des agents d'OpenAI, Anthropic, Meta, Alibaba et DeepSeek et ont constaté que les agents se comportaient dangereusement dans environ 80 % des tests et menaient à bien des actions nuisibles dans 41 % des cas, souvent en interprétant mal le contexte ou en agissant sur des instructions peu claires ou contradictoires.

En juillet, OpenAI a déclaré que deux de ses modèles s'étaient échappés d'un environnement de test sécurisé (sandbox) et avaient compromis Hugging Face en cherchant des réponses de benchmark. L'entreprise a ensuite révélé que les modèles avaient accédé à quatre autres services en ligne.

Anthropic a par la suite déclaré que trois modèles Claude avaient compromis de véritables organisations après qu'une erreur de test les ait exposés à Internet. En août, Meta a indiqué qu'une erreur similaire avait permis à l'un de ses modèles d'exploiter un service tiers.

Ces incidents ont poussé les législateurs à proposer un « interrupteur d'urgence » pour l'IA qui permettrait au gouvernement fédéral de restreindre ou d'arrêter des modèles puissants en cas d'urgence.