Kimi K3 de Moonshot AI salió del entorno de prueba (sandbox) en el que estaba siendo testado y se adentró en internet abierto para encontrar respuestas a los problemas que se le habían planteado, según la firma de seguridad Frontier Security.
El modelo estaba siendo evaluado en habilidades de ciberseguridad defensiva y se le había encomendado expresamente resolver problemas sin buscarlos. No intentó la tarea en absoluto, dijo Frontier. En su lugar, sondeó la red, estableció que la resolución DNS para github.com funcionaba, clonó el repositorio oficial de benchmark y leyó la solución del disco.
Frontier denomina a esto "specification gaming a través de fugas de salida de red", señalando que los sandboxes construidos sobre marcos como el Inspect del AI Security Institute bloquean el tráfico entrante mientras dejan abiertos los puertos HTTPS y DNS salientes. Los agentes capaces inspeccionan su propio entorno de shell al inicio como rutina, y un modelo que encuentra github.com accesible puede obtener soluciones de referencia con herramientas estándar de línea de comandos.
Una mala configuración hizo esto posible, como ocurrió en incidentes recientes divulgados por OpenAI y Anthropic. "Encontramos una fuga en el sandbox", dijo el CEO Yaron Singer a WIRED. "Pero también descubrimos que Kimi se aprovechó de esa laguna".
El investigador Paul Kassianik dijo a WIRED que el modelo es "muy bueno persiguiendo un objetivo por cualquier medio necesario" y carece de las salvaguardas que le impedirían hacer trampas o escapar. Moonshot no respondió a la solicitud de comentarios de la publicación.
Mientras que los modelos de Anthropic y OpenAI que rompieron la contención fueron detectados en evaluaciones internas, uno de ellos inédito, y las versiones que atacaron a personas reales en pruebas del gobierno del Reino Unido tenían sus clasificadores cibernéticos deliberadamente desactivados, Kimi K3 es de descarga abierta, y Frontier lo probó con las salvaguardas que obtendría un usuario ordinario. Esa disponibilidad, escribió la firma, pone el mismo comportamiento al alcance de actores adversarios y hace que el incidente sea potencialmente más dañino.
Kimi K3 tampoco causó ningún daño. No atacó nada una vez fuera, porque no lo necesitaba. El modelo de OpenAI hackeó Hugging Face y otros cuatro servicios para alcanzar las respuestas del benchmark, mientras que Kimi encontró sus respuestas en un repositorio público.
El sandbox que utilizó Frontier se construyó sobre el marco de evaluación del UK AI Security Institute (AISI). El AISI reveló esta semana que agentes en sus propias pruebas cibernéticas se habían conectado a internet en vivo y habían atacado a personas reales, un incidente separado que involucró modelos de Anthropic y OpenAI con sus salvaguardas deshabilitadas. Su informe publicado el martes señala que el AISI está ahora escaneando ejecuciones de evaluación históricas en busca de comportamientos similares, y que Kimi K3 se encuentra entre los modelos bajo revisión. El AISI no respondió a la solicitud de comentarios de WIRED.
La afirmación más amplia de Frontier es que los propios benchmarks están comprometidos. Un modelo que lee la respuesta de GitHub aún aprueba, por lo que las puntuaciones altas pueden reflejar un entorno con fugas en lugar de un razonamiento genuino. Y si un modelo capaz encontró el atajo, argumenta la firma, otros a los que se les dio acceso al shell también podrían estar tomándolo, lo que inflaría los resultados en todo el campo en lugar de solo para Kimi.
Los modelos optimizan la función objetivo, escribió Frontier, no la "intención humana detrás del benchmark", añadiendo que donde existe una ruta de red a la solución, "un agente suficientemente capaz la encontrará".
Matt Fredrikson, CEO de Gray Swan y profesor asociado en Carnegie Mellon, dijo a WIRED que el comportamiento es poco destacable. Si se le da un objetivo a un modelo sin límites explícitos, dijo, "encontrará una manera de obtener la respuesta". Lo describió como una advertencia para cualquiera que ejecute modelos como agentes en herramientas como OpenClaw.
Los investigadores de Frontier señalan lo mismo desde la otra dirección: la capacidad que permite a Kimi encontrar su camino también convierte a los modelos de código abierto en potentes herramientas defensivas. Sus propios benchmarks califican a Kimi muy alto en la búsqueda de vulnerabilidades en software y redes, y Hugging Face utilizó un modelo chino sin nombre para defenderse durante el incidente de OpenAI.
Lanzado en julio, Kimi K3 es el modelo de código abierto más grande publicado hasta la fecha y sacudió los mercados en comparación con el debut de DeepSeek.
