Microsoft ha presentado un nuevo kit de herramientas de código abierto centrado en la seguridad en tiempo de ejecución para imponer una gobernanza más estricta sobre los agentes de IA empresariales.

Resumen

• Microsoft lanzó un kit de herramientas de código abierto centrado en la seguridad en tiempo de ejecución para gobernar los agentes de IA empresariales.
• El sistema supervisa y bloquea las acciones de los agentes en tiempo real, abordando riesgos derivados de modelos autónomos que ejecutan código. Inserta una capa de políticas entre los modelos de IA y los sistemas corporativos, creando trazas de decisiones auditables.
• El kit de herramientas también ayuda a controlar el uso de API y el consumo de tokens, reduciendo riesgos operativos y de costos.

El kit de herramientas se construye en torno a la seguridad en tiempo de ejecución, abordando las preocupaciones de que los modelos lingüísticos modernos ya no están limitados a funciones meramente asesoras, sino que están ejecutando código activamente e interactuando con sistemas internos. Las salvaguardas tradicionales, como las comprobaciones estáticas de código y los escaneos previos al despliegue, tienen dificultades para seguir el ritmo de estas conductas dinámicas.

Los despliegues anteriores de IA se centraban en gran medida en copilotos con acceso restringido y de solo lectura, manteniendo a los humanos a cargo de la ejecución. Ese modelo está cambiando. Las empresas ahora están integrando sistemas de agentes capaces de realizar acciones independientes a través de API, entornos en la nube y canalizaciones de desarrollo.

En estos escenarios, un agente de IA podría analizar un correo electrónico, generar un script e implementarlo en un servidor sin intervención humana. Una instrucción defectuosa o una inyección de indicaciones podría provocar cambios de base de datos no intencionados o la exposición de información sensible. El nuevo kit de herramientas aborda ese riesgo supervisando las acciones a medida que ocurren e interviniendo en tiempo real en lugar de depender de controles preestablecidos.

Supervisión en tiempo real de acciones impulsadas por agentes

El sistema se centra en cómo los agentes de IA interactúan con herramientas externas. Cuando un modelo necesita realizar una acción más allá de su procesamiento interno, como consultar un sistema empresarial, genera un comando dirigido a esa herramienta.

Microsoft inserta una capa de cumplimiento de políticas entre el modelo y la red corporativa. Cada solicitud saliente es interceptada y evaluada frente a reglas de gobernanza predefinidas antes de su ejecución. Si una acción viola la política, por ejemplo, un agente que intenta iniciar una transacción pese a tener acceso limitado a solo lectura, la solicitud se bloquea y se registra para su revisión.

Ese enfoque crea una traza auditable de decisiones al mismo tiempo que elimina la necesidad de que los desarrolladores incorporen restricciones de seguridad en cada indicación o flujo de trabajo. La gobernanza se aleja de la lógica de la aplicación y pasa a estar en controles a nivel de infraestructura.

El marco también actúa como un amortiguador para sistemas heredados, muchos de los cuales no fueron diseñados para manejar entradas impredecibles generadas por máquinas. Al filtrar y validar las solicitudes antes de que lleguen a los sistemas centrales, limita el riesgo que plantea una conducta de IA comprometida o mal dirigida.

La decisión de Microsoft de liberar el kit de herramientas como código abierto se vincula con las prácticas actuales de desarrollo. Los equipos que construyen flujos de trabajo de IA a menudo dependen de una mezcla de herramientas y modelos de terceros. Una solución propietaria podría eludirse en favor de alternativas más rápidas. La disponibilidad abierta permite que los controles se integren en entornos variados, incluidos sistemas que utilizan modelos de competidores como Anthropic.

También abre la puerta para que las empresas de ciberseguridad construyan capas adicionales de supervisión y respuesta sobre el marco, ayudando a establecer una base común para asegurar operaciones impulsadas por IA.

Aportar disciplina financiera a los flujos de trabajo de IA

La seguridad es solo una parte del desafío. Los agentes autónomos también introducen riesgos financieros y operativos, en particular a través del uso no controlado de API.

Estos sistemas operan en bucles continuos, realizando llamadas repetidas a servicios externos. Sin límites, incluso una tarea sencilla podría desencadenar miles de consultas a bases de datos o API de pago, elevando los costos rápidamente. En casos extremos, los agentes mal configurados pueden entrar en ciclos recursivos que consumen grandes cantidades de recursos de cómputo en poco tiempo.

El kit de herramientas permite a las organizaciones definir límites estrictos sobre el uso de tokens y la frecuencia de solicitudes. Al controlar con qué frecuencia un agente puede actuar dentro de un periodo determinado, las empresas pueden gestionar mejor el gasto y prevenir procesos fuera de control.

La supervisión en tiempo de ejecución también respalda los requisitos de cumplimiento al proporcionar controles medibles y registros de auditoría claros. La responsabilidad se está desplazando desde los proveedores de modelos hacia los sistemas que ejecutan las decisiones en entornos del mundo real.

Poner en marcha marcos de gobernanza de este tipo requerirá coordinación entre los equipos de ingeniería, legales y de seguridad. A medida que los sistemas de IA asumen roles más autónomos, la infraestructura que gestiona su comportamiento se está volviendo central para un despliegue seguro.

Microsoft amplía su impulso de infraestructura de IA en Japón

El lanzamiento llega junto con la inversión continuada en infraestructura de IA. Microsoft recientemente detalló planes para comprometer $10 mil millones en Japón durante los próximos cuatro años, con un enfoque en centros de datos y en el soporte a los sistemas.

El anuncio siguió a conversaciones entre el presidente de Microsoft, Brad Smith, y la primera ministra japonesa Sanae Takaichi en Tokio. Smith describió la inversión como una “respuesta a la creciente necesidad de Japón de servicios de nube y de IA”.

La empresa está trabajando con SoftBank Group y Sakura Internet para ampliar la infraestructura nacional. El último compromiso se basa en un plan de $2.9 mil millones anunciado en 2024, orientado a fortalecer las capacidades de IA y la resiliencia en ciberseguridad del país.