Microsoft ha presentado un nuevo kit de herramientas de código abierto centrado en la seguridad en tiempo de ejecución para imponer una gobernanza más estricta sobre los agentes de IA empresariales.
El kit de herramientas se basa en la seguridad en tiempo de ejecución, abordando la preocupación de que los modelos de lenguaje modernos ya no se limitan a funciones de asesoramiento, sino que ejecutan código activamente e interactúan con sistemas internos. Las salvaguardas tradicionales, como las comprobaciones de código estáticas y los escaneos previos al despliegue, tienen dificultades para seguir el ritmo de estos comportamientos dinámicos.
Las implementaciones anteriores de IA se centraron en gran medida en copilotos con acceso restringido de solo lectura, manteniendo a los humanos a cargo de la ejecución. Ese modelo está cambiando. Las empresas ahora están integrando sistemas agenciales capaces de tomar acciones independientes a través de APIs, entornos de nube y canales de desarrollo.
En tales configuraciones, un agente de IA podría analizar un correo electrónico, generar un script y desplegarlo en un servidor sin intervención humana. Una instrucción defectuosa o una inyección de prompt podría conducir a cambios no deseados en la base de datos o a la exposición de información sensible. El nuevo kit de herramientas aborda ese riesgo monitoreando las acciones a medida que ocurren e interviniendo en tiempo real en lugar de depender de controles preestablecidos.
El sistema se enfoca en cómo los agentes de IA interactúan con herramientas externas. Cuando un modelo necesita realizar una acción más allá de su procesamiento interno, como consultar un sistema empresarial, genera un comando dirigido a esa herramienta.
Microsoft inserta una capa de aplicación de políticas entre el modelo y la red corporativa. Cada solicitud saliente es interceptada y evaluada según reglas de gobernanza predefinidas antes de su ejecución. Si una acción viola la política, por ejemplo, un agente que intenta iniciar una transacción a pesar de estar limitado a acceso de solo lectura, la solicitud es bloqueada y registrada para su revisión.
Este enfoque crea un rastro auditable de decisiones, eliminando la necesidad de que los desarrolladores incorporen restricciones de seguridad en cada prompt o flujo de trabajo. La gobernanza se traslada de la lógica de la aplicación a los controles a nivel de infraestructura.
El marco también actúa como un búfer para los sistemas heredados, muchos de los cuales no fueron diseñados para manejar entradas impredecibles generadas por máquinas. Al filtrar y validar las solicitudes antes de que lleguen a los sistemas centrales, limita el riesgo que plantean los comportamientos de IA comprometidos o mal dirigidos.
La decisión de Microsoft de lanzar el kit de herramientas como código abierto se alinea con las prácticas de desarrollo actuales. Los equipos que construyen flujos de trabajo de IA a menudo dependen de una mezcla de herramientas y modelos de terceros. Una solución propietaria podría ser evitada en favor de alternativas más rápidas. La disponibilidad abierta permite que los controles se integren en diversos entornos, incluidos sistemas que utilizan modelos de competidores como Anthropic.
También abre la puerta a que las empresas de ciberseguridad construyan capas adicionales de monitoreo y respuesta sobre el marco, ayudando a establecer una base compartida para asegurar las operaciones impulsadas por IA.
La seguridad es solo una parte del desafío. Los agentes autónomos también introducen riesgos financieros y operativos, particularmente a través del uso descontrolado de API.
Estos sistemas operan en bucles continuos, realizando llamadas repetidas a servicios externos. Sin límites, incluso una tarea simple podría activar miles de consultas a bases de datos o APIs de pago, elevando los costos rápidamente. En casos extremos, los agentes mal configurados pueden entrar en ciclos recursivos que consumen grandes cantidades de recursos computacionales en poco tiempo.
El kit de herramientas permite a las organizaciones definir límites estrictos sobre el uso de tokens y la frecuencia de las solicitudes. Al controlar la frecuencia con la que un agente puede actuar dentro de un período determinado, las empresas pueden gestionar mejor el gasto y prevenir procesos descontrolados.
La supervisión en tiempo de ejecución también apoya los requisitos de cumplimiento al proporcionar controles medibles y registros de auditoría claros. La responsabilidad se está trasladando de los proveedores de modelos a los sistemas que ejecutan decisiones en entornos del mundo real.
La implementación de estos marcos de gobernanza requerirá la coordinación entre los equipos de ingeniería, legal y seguridad. A medida que los sistemas de IA asumen roles más autónomos, la infraestructura que gestiona su comportamiento se vuelve central para una implementación segura.
El lanzamiento se produce junto con la inversión continua en infraestructura de IA. Microsoft recientemente describió planes para invertir $10 mil millones en Japón durante los próximos cuatro años, centrándose en centros de datos y sistemas de soporte.
El anuncio siguió a las conversaciones entre el presidente de Microsoft, Brad Smith, y la primera ministra japonesa, Sanae Takaichi, en Tokio. Smith describió la inversión como una “respuesta a la creciente necesidad de Japón de servicios de nube e IA”.
La compañía está trabajando con SoftBank Group y Sakura Internet para expandir la infraestructura doméstica. El último compromiso se basa en un plan de $2.9 mil millones anunciado en 2024 destinado a fortalecer las capacidades de IA y la resiliencia de la ciberseguridad en el país.
