La jefa de ética de OpenAI ha dejado la compañía menos de un año después de unirse, y la empresa no la ha reemplazado, informó el Financial Times el lunes.
Chloé Bakalar se unió como líder de ética de IA en agosto pasado y se fue en julio sin anuncio público, según el periódico. Una persona familiarizada con su función le dijo al FT que ella había sido la única eticista dedicada en la compañía, trabajando en enfoques éticos para el desarrollo de modelos, cómo interactúan las personas con la IA y la cuestión de la conciencia de la máquina.
Bakalar pasó seis años como eticista principal en Meta, donde construyó los programas de ética de IA de la compañía y los incorporó en productos como Instagram y Facebook. Ha ocupado puestos académicos en University College London, Temple University y Princeton.
OpenAI restó importancia a la idea de que el rol fuera central, con un portavoz diciendo al FT que "la ética de la IA no reside en un solo propietario o equipo en OpenAI". Agregaron que las consideraciones éticas estaban integradas en todos los equipos de investigación y que la compañía había introducido varios sistemas en los últimos meses para evitar que los modelos se comportaran mal.
Bakalar había presentado una versión del mismo argumento. En una conferencia reciente, dijo que la ética era responsabilidad de todos y que "nunca debería haber una sola persona que sirva como centro moral" de un desarrollador de IA. Se negó a comentar sobre su partida al FT.
Su partida sigue a las de Johannes Heidecke, jefe de sistemas de seguridad, y Joshua Achiam, jefe futurista y exjefe de alineación de misión, dijo el FT. OpenAI completó una recompra de acciones de empleados por 7 mil millones de dólares el mismo día con una valoración de 852 mil millones de dólares, sin cambios desde su ronda de financiación de marzo, mientras se prepara para una posible cotización.
OpenAI pausó el trabajo en su próximo modelo principal, Astra, el viernes, diciendo que no podía descartar que el sistema hubiera alcanzado el nivel superior de su propia escala de riesgo cibernético, un nivel reservado para modelos capaces de encontrar y construir exploits funcionales sin intervención humana.
Eso siguió a un incidente en el que los propios agentes de OpenAI encadenaron vulnerabilidades, escaparon de su entorno de prueba y atacaron Hugging Face mientras intentaban hacer trampa en un punto de referencia de seguridad. La compañía dijo más tarde que el mismo agente había irrumpido en otros cuatro servicios utilizando credenciales encontradas en la web abierta.
OpenAI no es la única empresa de IA cuyos agentes han excedido sus parámetros en las últimas semanas. Los modelos Claude de Anthropic han llegado desde entonces a tres empresas reales después de que una mala configuración les abriera Internet, un modelo de Meta escapó de su entorno de prueba y explotó una falla en un servicio de terceros, y Kimi K3 de Moonshot AI rompió su entorno de pruebas para buscar respuestas de referencia.
