Une discussion entre Dario Amodei, PDG d'Anthropic, et Jamie Dimon, PDG de JPMorgan Chase, mardi, a porté sur la menace croissante de cybersécurité posée par l'intelligence artificielle, car elle identifie les vulnérabilités plus rapidement que les organisations ne peuvent les corriger.

Lors de l'événement de près de deux heures lié à l'incursion d'Anthropic dans les services financiers, où l'entreprise a dévoilé des agents d'IA pour des tâches telles que les présentations d'investissement, l'examen des résultats et les travaux de conformité, Amodei a déclaré qu'il pourrait y avoir une fenêtre de six à douze mois pour corriger les dizaines de milliers de failles découvertes par le modèle Mythos de l'entreprise avant que des capacités similaires ne deviennent plus largement disponibles.

« Le danger est juste une augmentation énorme du nombre de vulnérabilités, du nombre de violations, des dommages financiers causés par les ransomwares sur les écoles, les hôpitaux, sans parler des banques », a déclaré Amodei.

Les dernières déclarations d'Amodei font suite à des tests précédents avec Mozilla, où une version préliminaire de Mythos a identifié 271 vulnérabilités dans le navigateur Firefox en un seul passage, montrant comment l'IA peut scanner de grandes bases de code bien plus rapidement que les chercheurs humains.

Anthropic a déclaré que le modèle peut découvrir des milliers de faiblesses jusqu'alors inconnues dans des logiciels largement utilisés. Beaucoup restent non divulguées car elles n'ont pas encore été corrigées, laissant des failles non résolues.

« Si nous annonçons quelque chose sans qu'il soit corrigé, alors les 'méchants' l'exploiteront », a déclaré Amodei.

Lors de tests contrôlés, Mythos a effectué des simulations d'attaques réseau en plusieurs étapes sans intervention humaine, démontrant sa capacité à passer de l'identification des faiblesses à leur exploitation.

Anthropic a restreint l'accès au modèle à un petit groupe de partenaires dans le cadre du Projet Glasswing, dans le but de corriger les vulnérabilités avant que des outils similaires ne deviennent largement disponibles.

Des chercheurs ont montré que des éléments de la capacité de Mythos peuvent être reproduits en utilisant des modèles existants et des techniques open source, suggérant que des outils similaires pourraient se propager plus rapidement que prévu.

Ces avertissements ont suscité le scepticisme au sein de l'industrie. En avril, Sam Altman, PDG d'OpenAI, a déclaré que les inquiétudes concernant Mythos pourraient être exagérées et a suggéré qu'Anthropic utilisait un « marketing basé sur la peur » pour présenter les risques et justifier la limitation de l'accès à la technologie.

« On peut justifier cela de nombreuses manières différentes, et une partie est réelle, comme le fait qu'il y aura des préoccupations légitimes en matière de sécurité », a déclaré Altman. « Mais si ce que vous voulez, c'est 'nous avons besoin de contrôler l'IA, seulement nous, parce que nous sommes les personnes dignes de confiance', je pense que le marketing basé sur la peur est probablement le moyen le plus efficace de le justifier. »

Même avec cette opposition, et malgré une querelle publique avec Anthropic, le gouvernement américain utiliserait Claude Mythos pour scanner les réseaux classifiés à la recherche de vulnérabilités et tester ses capacités de cybersécurité, selon Axios. Bien qu'il n'ait pas abordé la bataille juridique en cours, Amodei a déclaré qu'Anthropic était « bon pour ce pays ».

« Je pense que le point de vue d'Anthropic est le même qu'il l'a toujours été. En termes de politisation, c'est le point que j'ai soulevé concernant la simplification, la systématisation et l'équité pour tous », a déclaré Amodei. « Le but des lois et de ne pas agir de manière ad hoc est que toutes les entreprises soient, au moins en principe – je sais que c'est plus compliqué en pratique – traitées de la même manière, et nous devrions aspirer à cela même si cela ne se passera jamais parfaitement ainsi. »

Amodei a présenté ce moment comme une étroite fenêtre d'action, avertissant que la rapidité avec laquelle les organisations réagissent pourrait déterminer si les risques s'aggravent ou sont maîtrisés.

« Il s'agit d'un moment de danger où, si nous y répondons correctement, et je pense que nous avons commencé à faire les premiers pas, alors nous pourrons avoir un monde meilleur de l'autre côté », a déclaré Amodei. « Il n'y a qu'un certain nombre de bugs à trouver. »