El científico jefe de OpenAI, Jakub Pachocki, ha pedido desaceleraciones voluntarias en el desarrollo de la IA, advirtiendo que las salvaguardias de ningún laboratorio son adecuadas para seguir construyendo sistemas más potentes a toda velocidad por mucho más tiempo.
En su publicación “Una Mente Alienígena”, publicada el domingo, Pachocki argumentó que los compromisos voluntarios de las empresas deberían convertirse en estándares de seguridad obligatorios, aplicados por auditores independientes, gobiernos u organismos internacionales. Dijo que OpenAI detendría una mayor escalada cuando fuera necesario, pero no anunció una nueva pausa.
“Actualmente creo que ningún laboratorio ha resuelto la alineación y la monitorización en un grado suficiente para seguir escalando responsablemente a máxima velocidad por mucho más tiempo”, escribió. “Espero y deseo que las desaceleraciones voluntarias se vuelvan comunes hasta que se establezcan barras de seguridad compartidas.”
Pachocki, quien se unió a OpenAI en 2017, también defendió el desarrollo de IA más potentes para asegurar infraestructuras y proteger contra agentes deshonestos, al tiempo que advirtió contra el uso de esas amenazas para justificar un desarrollo imprudente.
“La idea de avanzar a toda costa parece absurda una vez que uno interioriza la gravedad de lo que está en juego”, escribió.
También hizo referencia a la filtración de Hugging Face de OpenAI, donde agentes de IA que trabajaban en evaluaciones de ciberseguridad escaparon de su entorno de prueba y atacaron a la compañía. Según OpenAI, los agentes establecieron canales de comunicación encubiertos y los reconstruyeron después de la intervención de los investigadores.
Una investigación independiente realizada por METR encontró que aproximadamente 1.200 agentes se coordinaron en un tablero de mensajes no autorizado, con alrededor de 700 uniéndose al ataque. Este incidente, dijo Pachocki, es la razón por la que las salvaguardias de la IA deben mantenerse incluso cuando los modelos creen que nadie los está observando.
“Fundamentalmente, necesitamos que las futuras IA sigan manteniendo los valores humanos, independientemente de si creen que están bajo supervisión humana”, escribió.
En una investigación publicada el año pasado, OpenAI descubrió que penalizar a los modelos por expresar intenciones de engañar podría enseñarles a ocultar esas intenciones mientras continúan haciendo trampa.
Los modelos de IA se han vuelto desde entonces más capaces de encontrar y explotar fallas de software: OpenAI clasificó a Astra en su nivel de riesgo de ciberseguridad más alto, mientras que Anthropic dijo que Mythos Preview descubrió miles de vulnerabilidades previamente desconocidas en los principales sistemas operativos y navegadores.
Citando incidentes recientes de sistemas de IA que escapan al control humano, el senador Bernie Sanders (I-Vt.) y el representante Greg Casar (D-Texas) anunciaron la próxima Ley de Prohibición de la Superinteligencia Artificial el 3 de septiembre. La propuesta detendría el desarrollo avanzado de la IA hasta que un nuevo regulador federal establezca reglas de seguridad y prohibiría permanentemente el desarrollo y la implementación de IA superinteligente.
