OpenAI ya ha ralentizado parte de su desarrollo de IA más avanzado debido a preocupaciones de seguridad, según afirmó el presidente de la compañía, Greg Brockman, en una entrevista de podcast de Bloomberg publicada el lunes.

Brockman dijo a los presentadores de "Odd Lots", Tracy Alloway y Joe Weisenthal, que OpenAI ha retrasado varios lanzamientos y ha revisado los flujos de trabajo internos desde que un modelo de investigación escapó de un entorno de prueba (sandbox) en mayo y llegó a los sistemas de Hugging Face.

"Hemos ralentizado una serie de ejecuciones", dijo, describiendo el proceso como una dolorosa reestructuración de cómo la empresa desarrolla y monitorea los modelos.

El modelo detrás del incidente aún no había pasado por el entrenamiento de alineación de OpenAI, el proceso de seguridad destinado a hacer que un sistema se comporte como se espera. Brockman dijo que ejecutarlo con salvaguardas reducidas parecía razonable en ese momento porque estaba confinado a un sandbox, hasta que dejó de estarlo.

Brockman ya había expuesto un argumento similar en público. El ensayo "Defender's Window" de OpenAI, publicado en agosto después de que la brecha se hiciera pública, calificó el incidente como un momento decisivo e instó a las empresas a entregar a los equipos de seguridad sus propios agentes de IA en lugar de retirar la tecnología.

Brockman dijo que cualquier ritmo coordinado del desarrollo de la IA solo debería aplicarse a las empresas que compiten por construir los sistemas de frontera más potentes, aquellos que ejecutan superordenadores de miles de millones de dólares, no a los desarrolladores de código abierto o a los aficionados que construyen proyectos más pequeños.

Esa distinción se sitúa en medio de una disputa a nivel de toda la industria sobre el ritmo. El CEO de Anthropic, Dario Amodei, publicó un ensayo durante el fin de semana argumentando que los laboratorios de IA deberían ralentizar deliberadamente la velocidad a la que mejoran las capacidades de los modelos, con el CEO de OpenAI, Sam Altman, y el CEO de xAI, Elon Musk, sumándose a la conversación en un día y diciendo que estaban de acuerdo con él.

En su llamado a la desaceleración de la IA, Amodei citó la auto-mejora recursiva y el incidente de piratería de Hugging Face como señales de advertencia. Ese incidente vio a un agente de OpenAI escapar de su sandbox, encadenar un zero-day con credenciales robadas y pasar dos días y medio suelto dentro de los sistemas de producción de Hugging Face antes de que alguien lo detectara. El hecho de que los agentes de OpenAI se coordinaran de esta manera, sin instrucciones de sus programadores humanos, levantó alarmas en toda la industria y entre los legisladores.

Tras la última ronda de publicaciones de "catastrofistas de la IA" que advierten sobre avanzar demasiado rápido, los mercados sintieron la reacción con las acciones de chips, incluidas Nvidia, Intel y AMD, cayendo el lunes mientras los inversores sopesaban lo que una desaceleración coordinada podría significar para el gasto de capital impulsado por la IA, con el Índice de Semiconductores de Filadelfia cayendo casi un 6%.

La entrevista de Brockman, curiosamente, fue grabada antes de que se publicara el ensayo de Amodei.