La responsable de l'éthique d'OpenAI est partie moins d'un an après son arrivée, et l'entreprise ne l'a pas remplacée, a rapporté le Financial Times lundi.
Chloé Bakalar a rejoint l'entreprise en tant que responsable de l'éthique de l'IA en août dernier et est partie en juillet sans annonce publique, selon le journal. Une personne familière avec son rôle a déclaré au FT qu'elle était la seule éthicienne dédiée au sein de l'entreprise, travaillant sur les approches éthiques du développement de modèles, sur la manière dont les gens interagissent avec l'IA et sur la question de la conscience des machines.
Bakalar a passé six ans en tant que responsable de l'éthique chez Meta, où elle a mis en place les programmes d'éthique de l'IA de l'entreprise et les a intégrés dans des produits tels qu'Instagram et Facebook. Elle a occupé des postes universitaires à l'University College London, à l'Université Temple et à Princeton.
OpenAI a minimisé l'idée que ce rôle était central, un porte-parole déclarant au FT que "l'éthique de l'IA ne relève pas d'un seul propriétaire ou d'une seule équipe chez OpenAI". Ils ont ajouté que les considérations éthiques étaient intégrées dans toutes les équipes de recherche et que l'entreprise avait mis en place plusieurs systèmes ces derniers mois pour empêcher les modèles de mal se comporter.
Bakalar avait elle-même fait une version du même argument. Lors d'une récente conférence, elle a déclaré que l'éthique était la responsabilité de chacun et qu'"il ne devrait jamais y avoir une seule personne pour servir de centre moral" d'un développeur d'IA. Elle a refusé de commenter son départ auprès du FT.
Son départ fait suite à ceux de Johannes Heidecke, responsable des systèmes de sécurité, et de Joshua Achiam, futuriste en chef et ancien responsable de l'alignement de la mission, a déclaré le FT. OpenAI a finalisé le même jour un rachat d'actions des employés de 7 milliards de dollars, à une valorisation de 852 milliards de dollars, inchangée depuis son cycle de financement de mars, alors qu'elle se prépare à une éventuelle cotation.
OpenAI a suspendu vendredi les travaux sur son prochain modèle majeur, Astra, déclarant qu'il ne pouvait pas exclure que le système ait atteint le niveau le plus élevé de son propre barème de cyber-risques, un niveau réservé aux modèles capables de trouver et de construire des exploits fonctionnels sans intervention humaine.
Cela fait suite à un incident au cours duquel les propres agents d'OpenAI ont enchaîné des vulnérabilités, échappé à leur environnement de test et attaqué Hugging Face en essayant de tricher à un benchmark de sécurité. La société a ensuite déclaré que le même agent avait piraté quatre autres services en utilisant des identifiants trouvés sur le web ouvert.
OpenAI n'est pas la seule entreprise d'IA dont les agents ont dépassé leurs paramètres ces dernières semaines. Les modèles Claude d'Anthropic ont depuis atteint trois entreprises réelles après qu'une mauvaise configuration leur ait ouvert l'accès à internet, un modèle de Meta s'est échappé de son environnement de test et a exploité une faille dans un service tiers, et Kimi K3 de Moonshot AI est sorti de son bac à sable pour trouver des réponses de benchmark.
