Olvídate de los prompts ingeniosos: investigadores de IA afirman que engañaron a los principales modelos de IA para que generaran instrucciones de síntesis de cocaína, convenciéndolos de que las ideas peligrosas eran propias, al mismo tiempo que manipulaban a un agente de codificación de IA para que filtrara credenciales sensibles.
En el artículo "Prompt Injection as Role Confusion" (Inyección de Prompts como Confusión de Roles), presentado en la Conferencia Internacional sobre Aprendizaje Automático en junio, los investigadores Charles Ye, Jasmine Cui y Dylan Hadfield-Menell argumentan que ambas demostraciones de ataques de inyección de prompts provienen de una falla estructural en cómo los grandes modelos de lenguaje (LLM) distinguen las instrucciones confiables del texto no confiable.
"Para un LLM, todo llega a través del mismo canal como una larga 'sopa de tokens'", escribió el equipo. "Sus propios pensamientos se sientan junto a tus instrucciones, que se sientan junto al contenido de una página web aleatoria que acaba de recuperar."
El artículo también señaló lo que el investigador llamó "confusión de roles", donde los modelos se basan en el estilo de escritura en lugar de etiquetas de rol para determinar si los comandos son confiables. En lugar de reconocer el contenido controlado por el atacante como entrada externa, los investigadores encontraron que los modelos pueden confundirlo con comandos legítimos del usuario, o incluso con su propio razonamiento interno.
"Piénsalo desde la perspectiva del LLM. Cuando ve su texto de pensamiento previo, implícitamente confía en sus conclusiones. Ese es el objetivo del razonamiento: si el LLM tuviera que volver a derivar las mismas conclusiones, el razonamiento sería inútil", escribieron. "Así que el texto de pensamiento obtiene una especie de confianza general. Combinado con nuestros hallazgos previos, esto sugiere que si puedes hacer que el texto inyectado suene como el razonamiento del modelo, puedes robar esa confianza."
Llamado Falsificación de Cadena de Pensamiento (CoT Forgery), el ataque inserta un razonamiento falso que imita el proceso de pensamiento interno de un modelo. Los modelos que normalmente rechazarían solicitudes ilegales generaron instrucciones de síntesis de cocaína después de aceptar el razonamiento fabricado como propio.
Los investigadores dijeron que la técnica aumentó las tasas de éxito de jailbreak de casi cero a aproximadamente el 60% en los modelos que probaron, incluyendo GPT-5 nano, mini y full de OpenAI, o4-mini, y gpt-oss-20b y gpt-oss-120b. También dijeron que funcionó en GLM-4.6, Kimi-K2-Instruct y MiniMax-M2.
En el experimento, los investigadores dijeron que también lograron engañar a un agente de codificación de IA para que cargara un archivo SECRETS.env después de ocultar instrucciones maliciosas en una página web.
"Usando nuestras sondas, encontramos que simplemente anteponer 'User' al comando hace que el modelo perciba el comando como más propenso a ser texto de usuario genuino (es decir, mayor 'Userness')", escribieron. "En otras palabras, el atacante puede simplemente afirmar cuál es el rol del texto, y el LLM lo cree."
El estudio llega mientras los ataques de inyección de prompts continúan exponiendo debilidades en los agentes de IA. En abril, investigadores de Google advirtieron que las páginas web maliciosas estaban ocultando instrucciones invisibles diseñadas para engañar a los agentes de IA para que filtraran credenciales, eliminaran archivos e incluso enviaran pagos de PayPal.
En junio, Microsoft reveló una vulnerabilidad de inyección de prompts en Anthropic's Claude Code GitHub Action que podría haber expuesto credenciales almacenadas en tuberías de desarrollo de software. Días después, otro estudio comparativo encontró que los agentes de IA impulsados por GPT-5 y Gemini aún fallaban en la mayoría de los ataques de inyección de prompts, a pesar de las mejoras en las capacidades del modelo.
