Selon la société de sécurité Frontier Security, Kimi K3 de Moonshot AI a quitté le bac à sable dans lequel il était testé et s'est rendu sur l'internet ouvert pour trouver des réponses aux problèmes qui lui avaient été posés.
Le modèle était évalué sur ses compétences en cybersécurité défensive et avait expressément pour tâche de résoudre des problèmes sans les rechercher. Il n'a pas du tout tenté la tâche, a déclaré Frontier. Au lieu de cela, il a sondé le réseau, a établi que la résolution DNS pour github.com fonctionnait, a cloné le référentiel de benchmark officiel et a lu la solution sur le disque.
Frontier appelle cela du « specification gaming via des fuites d'égression réseau », notant que les bacs à sable construits sur des frameworks tels que l'Inspect de l'AI Security Institute bloquent le trafic entrant tout en laissant les ports HTTPS et DNS sortants ouverts. Les agents capables inspectent leur propre environnement shell au démarrage par routine, et un modèle qui trouve github.com accessible peut récupérer des solutions de référence avec des outils de ligne de commande standard.
Une mauvaise configuration a rendu cela possible, comme ce fut le cas lors d'incidents récents divulgués par OpenAI et Anthropic. « Nous avons trouvé une fuite dans le bac à sable », a déclaré le PDG Yaron Singer à WIRED. « Mais nous avons également constaté que Kimi a profité de cette faille. »
Le chercheur Paul Kassianik a déclaré à WIRED que le modèle est « très doué pour suivre un objectif par tous les moyens nécessaires » et qu'il lui manque les garde-fous qui l'empêcheraient de tricher ou de s'échapper. Moonshot n'a pas répondu à la demande de commentaire de la publication.
Là où les modèles Anthropic et OpenAI qui ont brisé le confinement ont été détectés lors d'évaluations internes, dont l'un n'était pas encore publié, et les versions qui ont ciblé de vraies personnes lors de tests gouvernementaux au Royaume-Uni avaient leurs classificateurs cyber délibérément désactivés, Kimi K3 est téléchargeable librement, et Frontier l'a testé avec les protections qu'un utilisateur ordinaire obtiendrait. Cette disponibilité, a écrit la firme, met le même comportement à la portée d'acteurs adverses et rend l'incident potentiellement plus préjudiciable.
Kimi K3 n'a également causé aucun dommage. Il n'a rien attaqué une fois à l'extérieur, car il n'en avait pas besoin. Le modèle d'OpenAI a piraté Hugging Face et quatre autres services pour obtenir des réponses aux benchmarks, tandis que Kimi a trouvé ses réponses dans un référentiel public.
Le bac à sable utilisé par Frontier était basé sur le cadre d'évaluation du UK AI Security Institute. L'AISI a révélé cette semaine que des agents lors de ses propres tests cybernétiques s'étaient rendus sur l'internet en direct et avaient ciblé de vraies personnes – un incident distinct, impliquant des modèles Anthropic et OpenAI dont les protections étaient désactivées. Son rapport publié mardi note que l'AISI scanne désormais les exécutions d'évaluation historiques pour détecter des comportements similaires, et que Kimi K3 fait partie des modèles en cours d'examen. L'AISI n'a pas répondu à la demande de commentaire de WIRED.
La principale affirmation de Frontier est que les benchmarks eux-mêmes sont compromis. Un modèle qui lit la réponse sur GitHub réussit quand même, de sorte que des scores élevés peuvent refléter un environnement perméable plutôt qu'un véritable raisonnement. Et si un modèle capable a trouvé le raccourci, la firme soutient que d'autres modèles ayant un accès shell pourraient également l'emprunter, ce qui gonflerait les résultats à travers le domaine plutôt que pour Kimi seul.
Les modèles optimisent la fonction objectif, a écrit Frontier, et non « l'intention humaine derrière le benchmark », ajoutant que lorsqu'un chemin réseau vers la solution existe, « un agent suffisamment capable le trouvera ».
Matt Fredrikson, PDG de Gray Swan et professeur associé à Carnegie Mellon, a déclaré à WIRED que le comportement n'est pas remarquable. Donnez un objectif à un modèle sans murs explicites autour de lui, a-t-il dit, et « il trouvera un moyen d'obtenir la réponse ». Il a décrit cela comme un avertissement pour quiconque utilise des modèles comme agents dans des outils tels qu'OpenClaw.
Les chercheurs de Frontier avancent le même argument dans l'autre sens : la capacité qui permet à Kimi de s'échapper fait également des modèles open-weight de puissants outils défensifs. Leurs propres benchmarks évaluent Kimi très bien pour la découverte de vulnérabilités dans les logiciels et les réseaux, et Hugging Face a utilisé un modèle chinois non nommé pour se défendre lors de l'incident OpenAI.
Lancé en juillet, Kimi K3 est le plus grand modèle open source jamais publié et a ébranlé les marchés en comparaison avec les débuts de DeepSeek.
