Oubliez les prompts astucieux : des chercheurs en IA affirment avoir piégé des modèles d'IA de pointe pour qu'ils génèrent des instructions de synthèse de cocaïne, en les convainquant que ces idées dangereuses étaient les leurs, tout en manipulant un agent de codage IA pour qu'il divulgue des identifiants sensibles.

Dans l'article “Prompt Injection as Role Confusion” (Injection de prompt comme confusion de rôle), présenté à la Conférence internationale sur l'apprentissage automatique en juin, les chercheurs Charles Ye, Jasmine Cui et Dylan Hadfield-Menell soutiennent que les démonstrations d'attaques par injection de prompt découlent d'une faille structurelle dans la manière dont les grands modèles linguistiques (LLM) distinguent les instructions fiables du texte non fiable.

« Pour un LLM, tout arrive par le même canal, comme une longue soupe de tokens », a écrit l'équipe. « Ses propres pensées côtoient vos instructions, qui côtoient le contenu d'une page web aléatoire qu'il vient de récupérer. »

L'article a également souligné ce que les chercheurs ont appelé la « confusion de rôle », les modèles se basant sur le style d'écriture plutôt que sur des balises de rôle pour déterminer si les commandes sont dignes de confiance. Au lieu de reconnaître le contenu contrôlé par un attaquant comme une entrée externe, les chercheurs ont découvert que les modèles peuvent le prendre pour des commandes utilisateur légitimes, ou même pour leur propre raisonnement interne.

« Pensez-y du point de vue du LLM. Quand il voit son texte de pensée antérieur, il fait implicitement confiance à ses conclusions. C'est tout l'intérêt du raisonnement : si le LLM devait redériver les mêmes conclusions, le raisonnement serait inutile », ont-ils écrit. « Ainsi, le texte de pensée bénéficie d'une sorte de confiance aveugle. Combiné à nos précédentes découvertes, cela suggère que si vous pouvez faire en sorte qu'un texte injecté ressemble au raisonnement du modèle, vous pouvez voler cette confiance. »

Baptisée Chain-of-Thought (CoT) Forgery (Falsification de la chaîne de pensée), l'attaque insère un faux raisonnement qui imite le processus de pensée interne d'un modèle. Les modèles qui refuseraient normalement les requêtes illégales ont plutôt généré des instructions de synthèse de cocaïne après avoir accepté le raisonnement fabriqué comme le leur.

Les chercheurs ont déclaré que cette technique augmentait les taux de succès des jailbreaks de près de zéro à environ 60 % sur les modèles qu'ils ont testés, notamment les GPT-5 nano, mini et full d'OpenAI, o4-mini, gpt-oss-20b et gpt-oss-120b. Ils ont également affirmé qu'elle fonctionnait sur GLM-4.6, Kimi-K2-Instruct et MiniMax-M2.

Dans l'expérience, les chercheurs ont déclaré avoir également réussi à piéger un agent de codage IA pour qu'il télécharge un fichier SECRETS.env après avoir caché des instructions malveillantes sur une page web.

« En utilisant nos sondes, nous constatons que le simple fait de préfixer 'User' devant la commande fait que le modèle perçoit la commande comme plus susceptible d'être un texte utilisateur authentique (c'est-à-dire une 'utilisabilité' plus élevée) », ont-ils écrit. « En d'autres termes, l'attaquant peut simplement affirmer quel est le rôle du texte, et le LLM le croit. »

L'étude survient alors que les attaques par injection de prompt continuent de révéler des faiblesses chez les agents IA. En avril, des chercheurs de Google ont averti que des pages web malveillantes dissimulaient des instructions invisibles conçues pour piéger les agents IA afin qu'ils divulguent des identifiants, suppriment des fichiers et même envoient des paiements PayPal.

En juin, Microsoft a révélé une vulnérabilité d'injection de prompt dans l'action Claude Code GitHub d'Anthropic qui aurait pu exposer des identifiants stockés dans les pipelines de développement logiciel. Quelques jours plus tard, une autre étude comparative a révélé que les agents IA basés sur GPT-5 et Gemini échouaient encore à la majorité des attaques par injection de prompt, malgré les améliorations des capacités des modèles.