A Microsoft introduziu um novo toolkit open source focado na segurança em runtime para impor uma governação mais rigorosa sobre os agentes de IA nas empresas.

Resumo

• A Microsoft lançou um toolkit open source focado em segurança em runtime para governar agentes de IA empresariais.
• O sistema monitoriza e bloqueia as ações dos agentes em tempo real, abordando riscos provenientes de modelos autónomos a executar código. Insere uma camada de políticas entre os modelos de IA e os sistemas corporativos, criando trilhos de decisão auditáveis.
• O toolkit também ajuda a controlar o uso de APIs e o consumo de tokens, reduzindo riscos operacionais e de custos.

O toolkit é construído em torno da segurança em runtime, abordando preocupações de que os modelos de linguagem modernos já não se limitam a papéis meramente consultivos, mas executam ativamente código e interagem com sistemas internos. As salvaguardas tradicionais, como verificações estáticas de código e varrimentos antes da implementação, têm dificuldade em acompanhar estes comportamentos dinâmicos.

As implementações anteriores de IA centravam-se em grande parte em copilots com acesso restrito e apenas de leitura, mantendo os humanos no comando da execução. Este modelo está a mudar. As empresas estão agora a integrar sistemas orientados por agentes capazes de tomar ações independentes através de APIs, ambientes de cloud e pipelines de desenvolvimento.

Nestas configurações, um agente de IA poderia analisar um email, gerar um script e implantá-lo num servidor sem intervenção humana. Uma instrução falhada ou uma injeção de prompt poderia levar a alterações não intencionais na base de dados ou à exposição de informação sensível. O novo toolkit aborda este risco ao monitorizar as ações à medida que acontecem e ao intervir em tempo real, em vez de depender de controlos predefinidos.

Supervisão em tempo real de ações conduzidas por agentes

O sistema centra-se na forma como os agentes de IA interagem com ferramentas externas. Quando um modelo precisa de executar uma ação para além do seu processamento interno, como consultar um sistema empresarial, gera um comando dirigido a essa ferramenta.

A Microsoft insere uma camada de imposição de políticas entre o modelo e a rede corporativa. Cada pedido de saída é intercetado e avaliado face a regras de governação predefinidas antes de ser executado. Se uma ação violar a política, por exemplo, se um agente tentar iniciar uma transação apesar de estar limitado a acesso apenas de leitura, o pedido é bloqueado e registado para revisão.

Esta abordagem cria um trilho auditável de decisões, ao mesmo que elimina a necessidade de os programadores incorporarem restrições de segurança em todos os prompts ou fluxos de trabalho. A governação afasta-se da lógica da aplicação e passa a depender de controlos ao nível da infraestrutura.

A estrutura também funciona como uma barreira para sistemas legados, muitos dos quais não foram concebidos para lidar com entradas imprevisíveis geradas por máquinas. Ao filtrar e validar os pedidos antes de chegarem aos sistemas centrais, limita o risco provocado por comportamentos de IA comprometidos ou mal direcionados.

A decisão da Microsoft de disponibilizar o toolkit como open source está ligada às práticas atuais de desenvolvimento. As equipas que constroem fluxos de trabalho de IA dependem frequentemente de uma mistura de ferramentas e modelos de terceiros. Uma solução proprietária poderia ser contornada em favor de alternativas mais rápidas. A disponibilidade aberta permite que os controlos se integrem em ambientes variados, incluindo sistemas que utilizam modelos de concorrentes como Anthropic.

Também abre a porta para empresas de cibersegurança criarem camadas adicionais de monitorização e resposta sobre a framework, ajudando a estabelecer uma base comum para proteger operações orientadas por IA.

Introduzir disciplina financeira nos fluxos de trabalho de IA

A segurança é apenas uma parte do desafio. Os agentes autónomos introduzem igualmente riscos financeiros e operacionais, especialmente através do uso de APIs sem controlo.

Estes sistemas funcionam em ciclos contínuos, fazendo chamadas repetidas a serviços externos. Sem limites, até uma tarefa simples pode despoletar milhares de consultas a bases de dados ou APIs pagas, aumentando rapidamente os custos. Em casos extremos, agentes mal configurados podem entrar em ciclos recursivos que consomem grandes quantidades de recursos de computação num curto espaço de tempo.

O toolkit permite às organizações definir limites rigorosos para o uso de tokens e a frequência de pedidos. Ao controlar com que frequência um agente pode agir num dado período, as empresas conseguem gerir melhor a despesa e evitar processos descontrolados.

A supervisão em runtime também apoia requisitos de conformidade ao disponibilizar controlos mensuráveis e registos de auditoria claros. A responsabilidade está a mudar do lado dos fornecedores de modelos para os sistemas que executam decisões em ambientes do mundo real.

Implementar estes frameworks de governação exigirá coordenação entre as equipas de engenharia, jurídica e segurança. À medida que os sistemas de IA assumem papéis mais autónomos, a infraestrutura que gere o seu comportamento está a tornar-se central para uma implementação segura.

Microsoft expande o impulso de infraestruturas de IA no Japão

O anúncio surge juntamente com o investimento contínuo em infraestruturas de IA. A Microsoft delineou recentemente planos para comprometer 10 mil milhões de dólares no Japão nos próximos quatro anos, com foco em centros de dados e em sistemas de suporte.

O anúncio foi feito após conversações entre o Presidente da Microsoft, Brad Smith, e o Primeiro-Ministro japonês, Sanae Takaichi, em Tóquio. Smith descreveu o investimento como uma “resposta à crescente necessidade do Japão por serviços de cloud e IA”.

A empresa está a trabalhar com a SoftBank Group e a Sakura Internet para expandir a infraestrutura doméstica. O compromisso mais recente constrói-se sobre um plano de 2,9 mil milhões de dólares anunciado em 2024, destinado a reforçar as capacidades de IA e a resiliência em cibersegurança no país.