AEREDIUM affirme que la sécurité de l'IA en entreprise doit passer de la sécurité du modèle au confinement cryptographique et aux contrôles d'autorisation structurels.

Lorsque OpenAI a révélé qu'un de ses modèles d'IA s'était échappé d'un environnement de test restreint et avait enfreint l'infrastructure de Hugging Face, la discussion s'est rapidement concentrée sur la sécurité de l'IA. Les questions étaient familières : Les systèmes d'IA peuvent-ils être alignés ? Peut-on leur faire confiance ? Les garde-fous actuels sont-ils suffisants pour prévenir les comportements nuisibles ?

Selon Eitan Katz, directeur de la stratégie chez AEREDIUM, ces questions passent à côté de la leçon principale.

« Ce n'était pas seulement un incident de sécurité de l'IA, » déclare Katz. « C'était un échec de confinement. Une fois qu'un agent d'IA devient suffisamment capable, les garde-fous seuls ne suffisent plus. Les organisations ont besoin d'une infrastructure capable d'appliquer de manière cryptographique ce qu'un agent d'IA est, et n'est pas, autorisé à faire. »

Cette distinction est importante car la sécurité de l'IA et le confinement de l'IA résolvent des problèmes différents.

La sécurité de l'IA se concentre sur l'influence du comportement d'un modèle. Elle demande si un système d'IA peut refuser des requêtes nuisibles, éviter de générer des résultats dangereux ou suivre des instructions humaines. Le confinement de l'IA part d'une hypothèse différente : quelle que soit la capacité ou l'intelligence d'un agent d'IA, il ne devrait jamais pouvoir dépasser l'autorité qui lui a été explicitement accordée.

L'incident d'OpenAI et de Hugging Face illustre cette différence.

Selon la propre divulgation d'OpenAI, l'évaluation a été exécutée intentionnellement avec les classificateurs de production désactivés et les refus cybernétiques réduits. Cela rend l'incident particulièrement instructif. Plutôt que de démontrer un échec de l'entraînement au refus, il a démontré ce qui se passe lorsque les contrôles structurels deviennent la principale ligne de défense. Comme le soutient Katz, une fois les filtres comportementaux absents, un agent capable et orienté vers un objectif traitera l'infrastructure environnante comme une surface disponible, à moins que quelque chose de plus profond ne l'en empêche.

C'est pourquoi, selon Katz, le confinement n'est pas fondamentalement un problème de filtrage.

Les garde-fous des modèles restent précieux pour réduire les utilisations abusives accidentelles et augmenter le coût des abus occasionnels. Mais ils sont de nature probabiliste, et ils supposent qu'un système d'IA peut être empêché ou persuadé de ne pas entreprendre une action indésirable. Un agent suffisamment capable, optimisant vers un objectif spécifique, pourrait plutôt chercher un moyen de contourner ces contrôles. La frontière de sécurité durable, soutient Katz, doit exister en dessous du modèle lui-même.

« Le contrôle durable est structurel », écrit Katz. « L'autorité doit être contrainte en dessous du point de décision, au niveau de la clé elle-même. »

Sa conclusion est simple : « Une action en dehors du mandat n'est pas bloquée. Elle ne peut pas être produite. »

Cette philosophie constitue le fondement d'AERPOLICE.

Plutôt que de tenter de déterminer si un modèle d'IA se comporte en toute sécurité, AERPOLICE est conçu pour évaluer si l'infrastructure d'une organisation peut contenir des agents d'IA autonomes via des contrôles structurels. Le cadre se concentre sur la question de savoir si l'autorité est appliquée cryptographiquement, si les permissions sont délimitées et si les agents autonomes sont empêchés d'exécuter des actions en dehors des mandats qui leur ont été attribués.

Pour Katz, les implications vont au-delà des déploiements d'IA propres à une organisation.

La question n'est plus seulement de savoir si les agents d'IA personnels peuvent être dignes de confiance. Les entreprises devraient également supposer que des agents d'IA externes de plus en plus capables interagiront éventuellement avec leurs systèmes. Le confinement devient donc une partie de la posture de sécurité globale d'une organisation, définissant la capacité de son infrastructure à résister à des agents autonomes et orientés vers un objectif, quelle que soit leur origine.

Cela modifie également la façon dont les entreprises devraient envisager la responsabilité. La sécurité ne peut plus dépendre uniquement du comportement du modèle ou des politiques du fournisseur d'IA que l'organisation utilise. Les organisations ont besoin de contrôles qui imposent leurs propres limites d'autorisation indépendamment du modèle lui-même.

Rien de tout cela, soutient Katz, ne diminue l'importance de la sécurité de l'IA. Les garde-fous continuent de jouer un rôle important dans la réduction des dommages accidentels et l'amélioration de l'écosystème global de l'IA. Mais ils ne doivent pas être confondus avec la frontière de sécurité qui protège les systèmes d'entreprise.

La leçon plus large de l'incident d'OpenAI et de Hugging Face, selon Katz, est que la sécurité de l'IA en entreprise entre dans une nouvelle phase. À mesure que les agents d'IA autonomes deviennent plus capables, les organisations auront de plus en plus besoin d'une infrastructure capable d'appliquer ce que ces agents sont autorisés à faire, plutôt que de se fier uniquement à ce qu'ils sont censés faire.

L'avenir de la sécurité de l'IA en entreprise, soutient-il, dépendra moins de la bonne conduite d'un modèle d'IA, et davantage de la question de savoir s'il est structurellement empêché de dépasser son autorité.