Dario Amodei, CEO de Anthropic, dijo el miércoles que los gobiernos ya no pueden tratar la regulación de la IA como un problema a estudiar y que Estados Unidos necesita requisitos de seguridad vinculantes para los modelos de IA más potentes.

En el ensayo, titulado "Política sobre la Exponencial de la IA", Amodei argumenta que los requisitos de transparencia ya no son suficientes y exige una regulación vinculante de los sistemas de IA frontera.

“La IA avanza a una velocidad vertiginosa; en solo cuatro años, los modelos de IA han pasado de apenas poder escribir una línea de código coherente a escribir la mayor parte del código en las principales empresas de IA”, escribió Amodei.

El ensayo de Amodei llega mientras Anthropic expande el acceso a Claude Mythos con el lanzamiento de Mythos 5 el martes, su modelo de IA frontera restringido para organizaciones de ciberseguridad y socios gubernamentales. Investigadores, incluido el Instituto de Seguridad de la IA del Reino Unido, descubrieron que puede ejecutar ataques cibernéticos complejos de forma autónoma.

Según Amodei, su propuesta toma prestada la estructura regulatoria utilizada por la Administración Federal de Aviación.

“Los modelos de IA frontera, al igual que los aviones, deberían someterse a pruebas técnicas y auditorías, y su lanzamiento debería ser bloqueado o revertido como una amenaza para la seguridad pública si no cumplen con altos estándares de seguridad”, escribió. “Agradezco ver la Orden Ejecutiva de la administración Trump avanzar incrementalmente hacia un mayor papel del gobierno en la IA, aunque la propuesta de Anthropic recomienda una acción aún mayor”.

Según la propuesta de Amodei, un marco regulatorio exigiría pruebas obligatorias por parte de terceros para modelos de IA avanzados, autoridad gubernamental para bloquear despliegues inseguros y requisitos para que las empresas aseguren los pesos de los modelos, realicen pruebas de seguridad e informen incidentes graves. También insta a los gobiernos a prepararse para el desplazamiento laboral impulsado por la IA y los avances en el desarrollo de fármacos, limitar la vigilancia y las armas autónomas en la aplicación de la ley nacional, y fortalecer la cooperación entre naciones democráticas en tecnologías críticas de IA.

“Primero, el desplazamiento laboral duradero es indeseable y peligroso, y debemos hacer todo lo posible para minimizarlo o prevenirlo, no para provocarlo”, escribió, señalando casos anteriores en los que advirtió sobre el desplazamiento laboral. “Segundo, cualquier respuesta al desplazamiento laboral impulsado por la IA debe abordar tanto la necesidad de proveer económicamente a todos, como la necesidad de que las personas encuentren significado, propósito y agencia”.

El ensayo también llega la misma semana en que Anthropic lanzó Claude Fable 5, una versión pública de Claude Mythos 5, que redirige ciertas solicitudes que involucran ciberseguridad, biología, química y desarrollo de IA al menos capaz Claude Opus 4.8 como salvaguarda contra el uso indebido. El lanzamiento generó críticas de desarrolladores e investigadores por el mayor uso de tokens de Fable, los requisitos obligatorios de retención de datos de 30 días y las salvaguardas que pueden reducir las capacidades del modelo sin notificar a los usuarios.

El llamado de Amodei a cambios de política en torno al desarrollo de la IA también llega mientras Anthropic se prepara para salir a bolsa. A principios de este mes, la compañía presentó la documentación ante la Comisión de Bolsa y Valores de EE. UU. para una oferta pública inicial después de recaudar una ronda Serie H de $65 mil millones, con una valoración reportada de $965 mil millones.

Mientras Amodei enmarcó el problema como una carrera entre el progreso tecnológico y la política pública, los críticos han cuestionado si los llamados a una regulación de IA más estricta realmente sirven al bien público. En abril, Sam Altman, CEO de OpenAI, acusó a Anthropic de utilizar "marketing basado en el miedo" para promover Claude Mythos, argumentando que las preocupaciones sobre la IA avanzada pueden usarse para justificar la concentración del control de la tecnología en un pequeño número de empresas.

“Puedes justificar eso de muchas maneras diferentes, y parte de ello es real, como que habrá preocupaciones legítimas de seguridad”, dijo Altman. “Pero si lo que quieres es ‘necesitamos el control de la IA, solo nosotros, porque somos las personas de confianza’, creo que el marketing basado en el miedo es probablemente la forma más efectiva de justificar eso”.

Amodei rechazó la idea de que las preocupaciones sobre la IA avanzada sean principalmente un problema de relaciones públicas, argumentando en cambio que los temores sobre la tecnología reflejan preocupaciones legítimas que deben abordarse.

“La gente está preocupada por la IA porque percibe correctamente que sus riesgos son reales, no porque los CEOs de IA hayan sido insuficientemente Panglossianos”, dijo, refiriéndose al filósofo ficticio Pangloss de Cándido de Voltaire, conocido por mantener un optimismo inquebrantable de que todo es para mejor sin importar las circunstancias.

“Creo que es mi deber como líder de IA seguir siendo transparente sobre estos riesgos, y la preocupación pública en respuesta a esta transparencia constituye una rendición de cuentas democrática funcionando como debe ser”, dijo.