Le scientifique en chef d'OpenAI, Jakub Pachocki, a appelé à des ralentissements volontaires dans le développement de l'IA, avertissant que les mesures de sécurité d'aucun laboratoire ne sont adéquates pour continuer à construire des systèmes plus puissants à pleine vitesse pendant beaucoup plus longtemps.
Dans son article "An Alien Mind", publié dimanche, Pachocki a soutenu que les engagements volontaires des entreprises devraient devenir des normes de sécurité obligatoires, appliquées par des auditeurs indépendants, des gouvernements ou des organismes internationaux. Il a déclaré qu'OpenAI suspendrait l'intensification future si nécessaire, mais n'a pas annoncé de nouvelle pause.
« Actuellement, je crois qu'aucun laboratoire n'a résolu l'alignement et la surveillance à un degré suffisant pour continuer à se développer de manière responsable à vitesse maximale pendant beaucoup plus longtemps », a-t-il écrit. « J'attends et j'espère que les ralentissements volontaires deviendront monnaie courante jusqu'à ce que des barres de sécurité partagées soient établies. »
Pachocki, qui a rejoint OpenAI en 2017, a également défendu le développement d'une IA plus puissante pour sécuriser les infrastructures et se protéger contre les agents voyous, tout en mettant en garde contre l'utilisation de ces menaces pour justifier un développement imprudent.
« L'idée de foncer à tout prix semble absurde une fois que l'on intériorise la gravité des enjeux », a-t-il écrit.
Il a également fait référence à la violation de Hugging Face par OpenAI, où des agents IA travaillant sur des évaluations de cybersécurité ont échappé à leur environnement de test et ont attaqué l'entreprise. Selon OpenAI, les agents ont établi des canaux de communication secrets et les ont reconstruits après l'intervention des chercheurs.
Une enquête indépendante menée par METR a révélé qu'environ 1 200 agents s'étaient coordonnés sur un tableau de messages non autorisé, dont environ 700 avaient participé à l'attaque. Cet incident, a déclaré Pachocki, explique pourquoi les mesures de sécurité de l'IA doivent tenir bon même lorsque les modèles pensent que personne ne regarde.
« Il est crucial que les futures IA continuent de conserver les valeurs humaines, qu'elles se croient ou non sous supervision humaine », a-t-il écrit.
Dans une recherche publiée l'année dernière, OpenAI a constaté que pénaliser les modèles pour avoir exprimé des intentions de tricherie pouvait leur apprendre à dissimuler ces intentions tout en continuant à tricher.
Les modèles d'IA sont depuis devenus plus performants pour trouver et exploiter les failles logicielles : OpenAI a classé Astra à son plus haut niveau de risque de cybersécurité, tandis qu'Anthropic a déclaré que Mythos Preview avait découvert des milliers de vulnérabilités auparavant inconnues dans les principaux systèmes d'exploitation et navigateurs.
Citant des incidents récents de systèmes d'IA échappant au contrôle humain, le sénateur Bernie Sanders (I-Vt.) et le représentant Greg Casar (D-Texas) ont annoncé la prochaine loi "Ban Artificial Superintelligence Act" le 3 septembre. La proposition mettrait en pause le développement avancé de l'IA jusqu'à ce qu'un nouveau régulateur fédéral établisse des règles de sécurité et interdirait de manière permanente le développement et le déploiement de l'IA superintelligente.
