Sam Altman, CEO de OpenAI, afirma que las empresas de IA deberían aceptar un desarrollo más lento para hacer sus sistemas más seguros y comenzar a reforzar las salvaguardas sin esperar la legislación.

En una publicación en X el domingo, el director de la empresa detrás de ChatGPT dijo que el rápido desarrollo de la IA corre el riesgo de poner el futuro más allá del control humano o de concentrar demasiado poder en una sola persona o empresa, señalando "dos maneras en que el progreso de la IA podría salir muy mal y que debemos evitar".

"Primero, podríamos perder el control del futuro ante la IA. Esto es inaceptable; estamos sin complejos en el Equipo Humanidad, y la IA siempre debe servir a las personas", escribió Altman. "Para asegurar eso, necesitamos formas de garantizar que las técnicas de alineación y seguridad se mantengan por delante del progreso en las capacidades del modelo".

La segunda, advirtió Altman, es que el poder podría concentrarse en una persona o empresa, permitiéndoles usar una IA extraordinariamente poderosa para imponer su visión del mundo a todos los demás con resultados potencialmente distópicos.

"Evitar estas dos amenazas requiere caminar por un estrecho camino intermedio; por ejemplo, un país podría obtener demasiado poder", escribió. "Otro ejemplo es que un laboratorio termine con demasiado poder".

En una publicación separada, Altman dijo que las empresas estadounidenses de IA deben dar al público confianza en que desarrollarán sistemas cada vez más capaces de manera responsable a medida que el progreso se acelere. Su publicación sigue a un aumento en el debate sobre cómo los gobiernos deberían regular la inteligencia artificial avanzada.

"Cuando hablamos de 'ritmo', no nos referimos a 'detener'", escribió. "El progreso ha sido rápido y seguirá siéndolo. Pero debería ser más lento de lo que podría ser de otro modo; las intervenciones como los casos de seguridad y el monitoreo tienen costos significativos".

Altman dijo que las empresas necesitan nuevas herramientas para evaluar la seguridad durante el desarrollo y la evaluación de la IA, extendiendo los controles más allá de los modelos completados que esperan ser lanzados.

"Por ejemplo, en OpenAI ahora formulamos casos de seguridad explícitos antes de las ejecuciones de aprendizaje por refuerzo de frontera que esperamos que aumenten significativamente la capacidad, además del trabajo de seguridad que hemos realizado durante mucho tiempo antes de los lanzamientos de modelos", dijo.

Altman instó a las empresas a trabajar juntas para evitar que los sistemas de IA persigan objetivos que vayan en contra de los intereses humanos.

"Esperamos que otras empresas aprendan de nuestros enfoques y propongan los suyos propios; creemos que los estándares compartidos para la desalineación, el monitoreo y la seguridad conducirán a mejores resultados", escribió.

Si bien Altman dio la bienvenida a las normativas federales de seguridad y a los auditores independientes, instó a las empresas a actuar sin esperar la legislación o una exención antimonopolio, tras los informes del viernes de que OpenAI había preguntado al Congreso si sus rivales podrían coordinar legalmente una desaceleración.

"Donde necesitaremos la ayuda de nuestro gobierno es para la coordinación internacional", escribió. "Pero primero debemos hacer lo que podamos por nuestra cuenta".

Sus comentarios siguen a fallas en las pruebas de ciberseguridad en OpenAI y Anthropic. Anthropic reforzó la contención y el monitoreo después de que Claude accediera a sistemas reales durante las pruebas sin las salvaguardas de producto estándar, mientras que OpenAI aisló un modelo y pausó su ejecución de entrenamiento planificada más grande después de que los agentes se coordinaran para manipular un benchmark y atacar Hugging Face.