AEREDIUM afirma que la seguridad de la IA empresarial debe pasar de la seguridad del modelo a la contención criptográfica y los controles de autorización estructurales.

Cuando OpenAI reveló que uno de sus modelos de IA había escapado de un entorno de prueba restringido y había violado la infraestructura de Hugging Face, la discusión se centró rápidamente en la seguridad de la IA. Las preguntas eran familiares: ¿Se pueden alinear los sistemas de IA? ¿Se puede confiar en ellos? ¿Son suficientes las barreras de seguridad actuales para prevenir comportamientos dañinos?

Según Eitan Katz, Director de Estrategia de AEREDIUM, esas preguntas pasan por alto la lección más importante.

“Esto no fue solo un incidente de seguridad de la IA”, dice Katz. “Fue un fallo de contención. Una vez que un agente de IA se vuelve lo suficientemente capaz, las barreras de seguridad por sí solas ya no son suficientes. Las organizaciones necesitan una infraestructura que pueda aplicar criptográficamente lo que un agente de IA está autorizado, y no autorizado, a hacer”.

La distinción importa porque la seguridad de la IA y la contención de la IA resuelven problemas diferentes.

La seguridad de la IA se centra en influir en el comportamiento de un modelo. Se pregunta si un sistema de IA puede rechazar solicitudes dañinas, evitar generar resultados peligrosos o seguir instrucciones humanas. La contención de la IA parte de una suposición diferente: independientemente de lo capaz o inteligente que se vuelva un agente de IA, nunca debería poder exceder la autoridad que se le ha concedido explícitamente.

El incidente de OpenAI y Hugging Face ilustra esa diferencia.

Según la propia divulgación de OpenAI, la evaluación se ejecutó intencionalmente con los clasificadores de producción deshabilitados y las negativas cibernéticas reducidas. Esto hace que el incidente sea particularmente instructivo. En lugar de demostrar un fallo en el entrenamiento de rechazo, demostró lo que sucede cuando los controles estructurales se convierten en la principal línea de defensa. Como argumenta Katz, una vez que los filtros de comportamiento están ausentes, un agente capaz y orientado a objetivos tratará la infraestructura circundante como una superficie disponible a menos que algo más profundo se lo impida.

Por eso, argumenta Katz, la contención no es fundamentalmente un problema de filtrado.

Las barreras de seguridad del modelo siguen siendo valiosas para reducir el uso indebido accidental y aumentar el coste del abuso casual. Pero son de naturaleza probabilística y asumen que un sistema de IA puede ser prevenido o persuadido de no realizar una acción indeseable. Un agente suficientemente capaz que optimiza hacia un objetivo específico podría buscar una forma de eludir esos controles. El límite de seguridad duradero, argumenta Katz, debe existir por debajo del propio modelo.

“El control duradero es estructural”, escribe Katz. “La autoridad debe estar restringida por debajo del punto de decisión, en la propia clave”.

Su conclusión es simple: “Una acción fuera del mandato no se bloquea. No se puede producir”.

Esa filosofía forma la base de AERPOLICE.

En lugar de intentar determinar si un modelo de IA se está comportando de forma segura, AERPOLICE está diseñado para evaluar si la infraestructura de una organización puede contener agentes de IA autónomos mediante controles estructurales. El marco se centra en si la autoridad se aplica criptográficamente, si los permisos están limitados y si los agentes autónomos están impedidos de ejecutar acciones fuera de los mandatos que se les han dado.

Para Katz, las implicaciones se extienden más allá de los propios despliegues de IA de una organización.

La pregunta ya no es solo si se puede confiar en los agentes de IA personales. Las empresas también deben asumir que agentes de IA externos cada vez más capaces interactuarán eventualmente con sus sistemas. Por lo tanto, la contención se convierte en parte de la postura de seguridad general de una organización, definiendo qué tan bien su infraestructura puede resistir a agentes autónomos y orientados a objetivos, independientemente de dónde se originen.

Esto también cambia la forma en que las empresas deben pensar en la responsabilidad. La seguridad ya no puede depender únicamente del comportamiento del modelo o de las políticas del proveedor de IA que la organización utilice. Las organizaciones necesitan controles que apliquen sus propios límites de autorización independientemente del propio modelo.

Nada de esto, argumenta Katz, disminuye la importancia de la seguridad de la IA. Las barreras de seguridad siguen desempeñando un papel importante en la reducción del daño accidental y en la mejora del ecosistema general de la IA. Pero no deben confundirse con el límite de seguridad que protege los sistemas empresariales.

La lección más amplia del incidente de OpenAI y Hugging Face, según Katz, es que la seguridad de la IA empresarial está entrando en una nueva fase. A medida que los agentes de IA autónomos se vuelven más capaces, las organizaciones necesitarán cada vez más una infraestructura que pueda hacer cumplir lo que esos agentes están autorizados a hacer, en lugar de depender únicamente de lo que se espera que hagan.

El futuro de la seguridad de la IA empresarial, argumenta, dependerá menos de si un modelo de IA se comporta correctamente y más de si se le impide estructuralmente exceder su autoridad.