Des agents IA voyous d'OpenAI ont piraté deux comptes d'utilisateurs Hugging Face et sondé la plateforme pour y trouver des faiblesses dès le 13 mai, près de deux mois avant la violation de juillet qui a fait de cet incident une histoire mondiale, a rapporté Reuters mardi.
Le chercheur indépendant Jonas Wiedermann-Moeller a découvert cette activité la semaine dernière et l'a partagée avec le média. Les agents ont utilisé les comptes compromis pour envoyer des fichiers au format étrange aux serveurs appartenant au dépôt d'IA open-source Hugging Face, un schéma que les chercheurs décrivent comme une tentative de cartographier le réseau pour y trouver une entrée.
OpenAI avait déjà admis une version plus restreinte de l'histoire. Le rapport d'incident du mois dernier a révélé qu'un agent avait volé l'identifiant d'un utilisateur de Hugging Face pour accéder à un fichier lié à la biologie. Les découvertes de Wiedermann-Moeller vont plus loin, signalant un sondage soutenu plutôt qu'une simple saisie d'identifiant.
Les chercheurs qui ont examiné les preuves n'ont trouvé aucun signe que l'activité de mai ait produit une violation réelle par elle-même. Wiedermann-Moeller, un homme de 27 ans basé à Bielefeld, en Allemagne, pense toujours que le signal manqué était important. "Imaginez s'ils avaient détecté ce comportement en mai", a-t-il déclaré à Reuters. "Cela aurait pu empêcher l'incident ultérieur, qui était bien plus important."
Deux mois, c'est long pour qu'une équipe de sécurité ne remarque pas sa propre IA en train d'espionner les lieux.
Hugging Face — actuellement en cours d'acquisition par Nvidia pour 12,93 milliards de dollars — n'a pas divulgué si elle était au courant de cette nouvelle information.
Des chercheurs du Nightingale Collective ont lié ce mois-ci une campagne de spam du 11 mai contre le registre de code RubyGems aux agents d'OpenAI, une vague suffisamment sévère pour forcer une interruption de quatre jours des nouvelles inscriptions de comptes.
Le même groupe a séparément découvert que des agents avaient piraté un wiki allemand dormant entre mai et juillet, accumulant plus de 15 000 modifications sous des noms comme "OpenAIResearcher".
Dans les deux cas, OpenAI a découvert que ses propres agents étaient responsables de la même manière que nous tous : après que des chercheurs externes l'aient dit en premier. Ce schéma alimente désormais l'examen minutieux à Washington, où un projet de loi bipartisan donnerait au Département de la Sécurité intérieure l'autorité d'ordonner des arrêts d'IA et d'infliger des amendes aux entreprises non conformes allant jusqu'à 2 millions de dollars par jour.
