OpenAI a demandé aux membres du Congrès si les entreprises d'IA rivales pouvaient légalement s'entendre pour ralentir le développement, alors que son scientifique en chef exhorte l'industrie à établir des normes de sécurité communes.
Selon WIRED, qui cite des personnes proches de l'entreprise, OpenAI a demandé aux législateurs ces dernières semaines si un accord entre les entreprises d'IA pour ralentir le développement pourrait violer les lois antitrust.
Cette démarche auprès des législateurs fait suite à l'appel de Jakub Pachocki, scientifique en chef d'OpenAI, en faveur de ralentissements volontaires jusqu'à ce que les développeurs puissent mieux démontrer la sécurité de leurs systèmes. Mais les entreprises sont sous pression pour continuer à progresser même lorsque leurs propres chercheurs ont des préoccupations.
"La concurrence commerciale et géopolitique dans le domaine de l'IA est incroyablement intense, ce qui conduit à une dynamique préoccupante où les entreprises sont incitées à commercialiser des produits avant que leurs risques ne soient pleinement compris", a déclaré Miranda Bogen, directrice technologique du Center for Democracy and Technology, à Decrypt.
"Même lorsque le personnel interne sait que plus de recherche et de tests sont nécessaires, leurs entreprises sont confrontées à une pression immense pour prendre des raccourcis et sauter des tests de sécurité critiques, malgré les preuves qui s'accumulent quant aux conséquences d'une progression trop rapide", a-t-elle ajouté.
Un accord visant à ralentir le développement de l'IA pourrait soulever des préoccupations antitrust en restreignant la concurrence. Les sénateurs Adam Schiff et Jim Banks ont présenté une législation visant à protéger certaines collaborations en matière de sécurité, sous réserve d'un préavis au ministère de la Justice.
Le débat sur le ralentissement du développement de l'IA intervient alors que les États-Unis et la Chine se disputent le leadership technologique. Le président américain Donald Trump a retardé un décret exécutif sur l'IA en mai, craignant que cela n'affaiblisse l'avance de l'Amérique sur la Chine. Trump a ensuite signé le décret en juin, créant un processus d'examen volontaire pour les modèles avancés avant leur publication.
Plus directement que les préoccupations de sécurité nationale, les incitations financières pourraient rendre un accord difficile.
"Chaque avancée dans les conditions actuelles génère des millions, voire des milliards de dollars de financement supplémentaires et place les créateurs de cette avancée dans une position de pouvoir et d'influence accrue", a déclaré Duncan Sabien, responsable de la communication au Machine Intelligence Research Institute, à Decrypt.
Qualifiant la dynamique de la course aux armements de réelle, Sabien a déclaré qu'OpenAI et Anthropic sont sous pression pour continuer à progresser malgré des risques incertains, car chaque nouveau système aide à construire des successeurs plus performants, permettant à un rival de prendre l'avantage si l'une ou l'autre entreprise ralentit sans accord commun.
"C'est d'autant plus vrai que les gains en intelligence sont cumulatifs ; chaque nouveau système facilite l'entraînement et le déploiement du système suivant, plus avancé", a-t-il déclaré. "Sans une sorte de mécanisme de coordination, reculer signifie simplement que l'autre prend de l'avance."
En août, OpenAI a suspendu les travaux internes d'Astra, qui manquaient de mesures de protection renforcées contre les cybermenaces. Cependant, OpenAI et Anthropic ont toutes deux assoupli leurs engagements de sécurité en février, Jared Kaplan, directeur scientifique d'Anthropic, arguant que ralentir le développement de manière indépendante avait moins de sens tant que les concurrents continuaient à progresser.
Le débat sur le ralentissement du développement de l'IA a enflé cette semaine après que l'ancien ingénieur d'Anthropic, Jacob Coxon, a publiquement annoncé sa démission, invoquant des préoccupations quant aux risques que le développement continu de l'IA pose à l'humanité.
"Les personnes qui construisent l'IA croient sincèrement qu'elle pourrait tous nous tuer d'ici la fin de la décennie", a déclaré Coxon sur X, affirmant que ce n'était pas un "coup marketing".
"Au contraire, de nombreux dirigeants et chercheurs seniors édulcorent leur discours dans la presse pour paraître raisonnables – mais j'entends les mêmes personnes exprimer leur peur en privé. Aucune autre activité humaine ne présente un tel niveau de danger", a-t-il écrit.
Cependant, Sabien a déclaré que les chercheurs pourraient accomplir peu en partant si quelqu'un d'autre prenait simplement leur place.
"Si suffisamment d'entre eux parviennent à une connaissance commune qu'ils devraient tous arrêter, alors ils peuvent briser la barrière de la coordination et s'arrêter ensemble plutôt que d'être simplement remplacés par la personne suivante, légèrement moins prudente", a-t-il déclaré.
