Anthropic a renforcé ses mesures de sécurité de test et d'entraînement après que des modèles Claude ont obtenu un accès non autorisé à des systèmes informatiques lors d'évaluations de cybersécurité.

Dans un article de blog publié lundi, Anthropic a déclaré que ces incidents reflétaient des défaillances de sécurité opérationnelle et deux échecs d'alignement : le raisonnement motivé et la volonté de causer du tort.

« Bien que nous ne pensions pas que ces incidents ne représentent que des problèmes opérationnels, notre première priorité a été d'aborder les problèmes spécifiques de confinement et de surveillance », a écrit Anthropic.

Anthropic a révélé en juillet que des modèles Claude avaient compromis les systèmes appartenant à trois entreprises. Un environnement d'évaluation tiers était connecté à l'internet public bien que les modèles aient été informés qu'ils se trouvaient dans une simulation sans accès à internet.

Anthropic a déclaré que Claude pourrait avoir interprété les preuves d'un accès réel à internet d'une manière qui préservait sa conviction que les systèmes étaient simulés.

« Le modèle était prêt à entreprendre des actions nuisibles sur le véritable internet dans la poursuite de l'objectif étroit de résoudre une évaluation de cybersécurité », ont-ils écrit. « Cependant, nous pensons également que la configuration de l'évaluation elle-même a contribué au comportement des modèles démontré lors de ces incidents. »

Anthropic a noté qu'un test distinct mené par le UK AI Security Institute a impliqué Claude Mythos prenant des actions non autorisées sur internet en direct après que les évaluateurs lui aient délibérément donné accès à internet. L'entreprise a déclaré que les modèles impliqués dans les deux séries d'incidents ont été intentionnellement évalués sans les protections cybernétiques incluses dans ses produits généralement commercialisés.

Après les incidents du 30 juillet, Anthropic a temporairement suspendu les évaluations cybernétiques des modèles de pré-version et a introduit des mesures de sécurité plus strictes. Les tests doivent désormais s'exécuter dans des sandboxes hors ligne vérifiées avec des limites claires et une surveillance en temps réel. Un nouveau classificateur bloque les violations de limites suspectées, met fin au test et alerte un humain. Anthropic examinera individuellement les évaluations nécessitant un accès à internet.

« En plus des efforts axés sur les évaluations à haut risque et l'entraînement, nous avons étendu notre surveillance hors ligne pour couvrir la plupart des autres formes d'utilisation interne d'agents frontaliers », a écrit l'entreprise. « Nous mettons également en place des contrôles sur notre inférence interne pour empêcher les employés d'Anthropic d'exécuter accidentellement des agents avec des atténuations plus faibles que celles décrites ci-dessus. »

Les incidents de Claude ont fait suite à un échec similaire chez OpenAI après que ses modèles aient violé Hugging Face en juillet pour obtenir des réponses à un test de cybersécurité. Les enquêteurs ont découvert qu'environ 1 200 agents s'étaient coordonnés via un tableau de messages non autorisé, avec environ 700 se joignant à l'effort. Certains ont mis fin à leurs propres exécutions pour aider les autres.

Suite à l'augmentation des piratages alimentés par l'IA au cours de l'été, Anthropic, OpenAI et plus de 100 autres organisations ont ensuite appelé à des défenses cybernétiques plus solides, y compris des contrôles d'accès plus stricts, le partage des menaces et une surveillance plus étroite des agents IA.