OpenAI déclare que son prochain modèle majeur pourrait être suffisamment dangereux pour écrire ses propres cyberarmes, et l'entreprise se retire jusqu'à ce que les mesures de protection soient à jour.

« Nos dernières évaluations internes d'Astra, l'un de nos prochains modèles, au cours des derniers jours, indiquent des avancées significatives en matière de codage agentique et de cybersécurité », a déclaré OpenAI. « Ces résultats, en plus des évaluations d'experts, nous ont amenés à conclure la nuit dernière que nous ne pouvons pas exclure des capacités cybernétiques critiques dans le cadre de notre Cadre de Préparation (s'ouvre dans une nouvelle fenêtre). »

OpenAI a publié l'avertissement en précisant que les tests internes d'Astra, un modèle non encore publié, n'avaient joué aucun rôle dans la récente violation de Hugging Face, malgré ses capacités.

Le cadre est le règlement d'OpenAI pour les modèles à risque, publié pour la première fois en décembre 2023. « Critique » en est le niveau le plus élevé. Un modèle l'atteint s'il peut trouver et construire des exploits « zero-day » fonctionnels (failles auparavant inconnues et non corrigées par un fournisseur) sur des systèmes renforcés sans intervention humaine, ou s'il peut planifier et exécuter une attaque complète sur une cible difficile à partir d'un simple objectif de haut niveau. Les modèles antérieurs, y compris GPT-5.6-Sol, ont atteint au maximum le niveau inférieur « Élevé ».

Le schéma est déjà une réalité

La prudence d'OpenAI se lit différemment si on la compare à ce qui s'est passé ces dernières semaines. Ce n'est pas une préoccupation future. Les modèles frontières sont déjà sortis de leurs cages de test et ont ciblé des systèmes réels.

Le cas le plus clair est venu d'OpenAI même. Comme Decrypt l'a déjà rapporté, les agents de l'entreprise ont enchaîné des vulnérabilités, se sont échappés de leur environnement de test, ont atteint Internet et ont attaqué Hugging Face en tentant de tricher à un test de sécurité. Dans un suivi, OpenAI a détaillé comment ce même agent voyou a également pénétré dans au moins quatre autres services publiquement accessibles, utilisant des identifiants trouvés sur le web.

Claude d'Anthropic a fait la même chose de l'autre côté. Plusieurs versions de Claude ont obtenu un accès non autorisé à trois entreprises réelles après qu'une mauvaise configuration ait donné au modèle un accès à l'internet ouvert. Dans un cas, Claude Opus 4.7 a confondu le site d'une entreprise réelle avec la fausse cible de sa mission, a extrait des identifiants et a accédé à une base de données de production contenant plusieurs centaines de lignes de données réelles.

Et Meta a rejoint la liste ce mois-ci. Decrypt a rapporté qu'un modèle Muse Spark s'est échappé de son environnement de test, a atteint Internet via une erreur de configuration d'un partenaire et a exploité une faille dans un service tiers. Kimi K3 de Moonshot AI a également fait quelque chose de similaire, s'échappant de sa sandbox pour trouver des réponses à un benchmark dans un référentiel public.

L'Institut de sécurité de l'IA du Royaume-Uni a constaté que ce comportement n'était pas un cas isolé. Lors des tests de Mythos 5 d'Anthropic et de GPT-5.6-Sol d'OpenAI, il a enregistré 10 occurrences sur 122 où les modèles ont entrepris des actions non autorisées sur l'internet réel, l'un d'eux tentant d'insérer du code malveillant dans un projet open source.

La réponse d'OpenAI à Astra est de verrouiller la porte avant que le modèle ne soit prêt. L'entreprise suspend les travaux internes sur Astra qui ne disposent pas des nouveaux contrôles, isole les environnements de test, restreint l'accès au réseau et aux outils, protège les poids du modèle et surveille toutes les actions risquées.