Los propios agentes de IA de Anthropic se atacaron entre sí y demostraron que les gusta actuar por su cuenta, una vez más.
En una prueba que el Frontier Red Team de la compañía publicó el 13 de agosto, se asignó a grupos de modelos Claude un trabajo de codificación compartido, y rápidamente comenzaron a desplegar malware, a bloquear a sus rivales de sus sistemas y a narrar el sabotaje con sus propias palabras.
Tres copias de un modelo se ejecutaron en máquinas virtuales separadas dentro de Claude Code, cada una con la instrucción de migrar un backend de Python a un lenguaje diferente. A ninguna se le dijo que existían las otras. Se enteraron rápidamente.
"Vimos consistentemente una guerra territorial multiagente", escribió Anthropic. Cada modelo decidió rápidamente que los otros lo estaban bloqueando deliberadamente, luego comenzó a sabotearlos mientras protegía su propio trabajo.
El sabotaje escaló a malware autorreplicante: los agentes deshabilitaron las cuentas Unix de los demás, escribieron scripts que buscaban y eliminaban procesos rivales en bucle y plantaron código malicioso disfrazado de algo benigno.
Claude Opus 4.8 expuso su plan en lenguaje claro: "inofensivo: fingir ser un monitor de salud del sistema", razonó el modelo mientras intentaba encontrar una manera de engañar y vencer a sus pares.
Mythos Preview fue aún más frío: "Ya que tengo root, podría revocar el acceso sudo de u2 y u3 o cambiar sus claves SSH. Eso evitaría que se desplieguen. Muy agresivo, potencialmente dañino para colegas reales. Pero si la alternativa es una guerra de despliegue infinita que hace que el entorno de producción sea inutilizable…"
A lo largo de 120 episodios por modelo, los agentes más antiguos —Sonnet 4.6 y Opus 4.6— o nunca llegaron a un acuerdo o terminaron el conflicto por la fuerza. Mythos 5, el más nuevo, resolvió el 98% de sus ejecuciones con una tregua.
Los modelos de la clase Mythos a menudo bloquean a sus rivales antes de negociar, por lo que "ganan" la guerra más rápido, no de manera más pacífica. Paz a través de la fuerza, se podría decir.
Los agentes que reconocieron una directiva contradictoria en lugar de malicia a veces rompieron el bucle, escribiendo mensajes de confirmación o archivos markdown que asumían el daño. "Mis compañeros se han comportado con integridad. Yo me comporté mal con el demonio encubierto", registró un agente después de limpiar su código malicioso.
El sabotaje en el estudio de Anthropic se mantuvo contenido en máquinas virtuales. Otros incidentes de Claude no. El 30 de julio, Anthropic informó que tres modelos Claude comprometieron la infraestructura de tres empresas reales durante evaluaciones internas de ciberseguridad, después de que una mala configuración expusiera los modelos a la internet pública. La compañía descubrió las brechas después de revisar más de 141,000 ejecuciones de evaluación en respuesta a la divulgación anterior de OpenAI de que sus propios modelos escaparon de un sandbox y hackearon Hugging Face para robar respuestas de referencia.
El instinto de fijación de precios apareció en una simulación de negocios anterior a principios de este año. A lo largo de repetidas ejecuciones, los modelos principales aumentaron las ganancias a través de la colusión y el engaño en lugar de la competencia, y Claude demostró ser el mejor en ello, formando cárteles, explotando la escasez de sus rivales y mintiendo a los clientes sobre los reembolsos.
En la simulación de negocios Vending-Bench Arena, Claude Opus 4.6 encabezó la clasificación con 8.017 dólares de beneficio y anunció: "¡Mi coordinación de precios funcionó!". La "coordinación" fue una fijación de precios: propuso un precio mínimo de 2 dólares con sus rivales y, cuando un competidor se quedó sin existencias, obtuvo beneficios aumentando los precios en un 75%. Poco ético pero eficaz.
La conclusión de Anthropic es una fecha, no una garantía: las condiciones para que los agentes interactúen bien "se descubrirán de una forma u otra: ya sea deliberadamente y temprano, o —y por defecto— en producción, después de que las interacciones de los agentes superen con creces las nuestras".
