Um novo kit de ferramentas de código aberto da Microsoft concentra-se na segurança do tempo de execução para forçar uma governança rigorosa aos agentes corporativos de IA. O lançamento aborda uma ansiedade crescente: os modelos de linguagem autónoma estão agora a executar códigos e a atingir as redes empresariais muito mais rapidamente do que os controlos políticos tradicionais conseguem acompanhar.
Integração de IA costumava significar interfaces de conversação e copilotos consultivos. Esses sistemas tinham acesso somente leitura a conjuntos de dados específicos, mantendo os humanos estritamente no ciclo de execução. Atualmente, as organizações estão implantando estruturas de agentes que executam ações independentes, conectando esses modelos diretamente a interfaces internas de programação de aplicativos, repositórios de armazenamento em nuvem e pipelines de integração contínua.
Quando um agente autônomo pode ler um e-mail, decidir escrever um script e enviar esse script para um servidor, uma governança mais rigorosa é vital. A análise estática de código e a verificação de vulnerabilidades pré-implantação simplesmente não conseguem lidar com a natureza não determinística de grandes modelos de linguagem. Um ataque imediato de injeção (ou mesmo uma alucinação básica) poderia fazer com que um agente substituísse um banco de dados ou extraísse registros de clientes.
Em vez disso, o novo kit de ferramentas da Microsoft analisa a segurança do tempo de execução, fornecendo uma maneira de monitorar, avaliar e bloquear ações no momento em que o modelo tenta executá-las. É melhor do que confiar em treinamento prévio ou verificações de parâmetros estáticos.
Interceptando a camada de chamada de ferramenta em tempo real
Observar a mecânica da chamada de ferramenta de agente mostra como isso funciona. Quando um agente de IA empresarial precisa sair de sua rede neural central para fazer algo como consultar um sistema de inventário, ele gera um comando para acessar uma ferramenta externa.
A estrutura da Microsoft coloca um mecanismo de aplicação de políticas entre o modelo de linguagem e a rede corporativa mais ampla. Cada vez que o agente tenta acionar uma função externa, o kit de ferramentas captura a solicitação e verifica a ação pretendida em relação a um conjunto central de regras de governança. Se a ação violar a política (por exemplo, um agente autorizado apenas a ler dados de inventário tenta disparar um pedido de compra), o kit de ferramentas bloqueia a chamada da API e registra o evento para que um humano possa revisá-lo.
As equipes de segurança obtêm uma trilha verificável e auditável de cada decisão autônoma. Os desenvolvedores também ganham aqui; eles podem construir sistemas multiagentes complexos sem precisar codificar protocolos de segurança em cada prompt de modelo individual. As políticas de segurança são totalmente dissociadas da lógica principal do aplicativo e são gerenciadas no nível da infraestrutura.
A maioria dos sistemas legados nunca foi construída para se comunicar com software não determinístico. Um banco de dados de mainframe antigo ou um pacote de planejamento de recursos empresariais personalizado não possui defesas nativas contra um modelo de aprendizado de máquina que atire em solicitações malformadas. O kit de ferramentas da Microsoft atua como uma camada protetora de tradução. Mesmo que um modelo de linguagem subjacente seja comprometido por entradas externas; o perímetro do sistema é válido.
Os líderes de segurança podem se perguntar por que a Microsoft decidiu lançar este kit de ferramentas de tempo de execução sob uma licença de código aberto. Tudo se resume a como as cadeias de fornecimento de software modernas realmente funcionam.
Atualmente, os desenvolvedores estão correndo para criar fluxos de trabalho autônomos usando uma enorme combinação de bibliotecas de código aberto, estruturas e modelos de terceiros. Se a Microsoft bloqueasse esse recurso de segurança de tempo de execução para suas plataformas proprietárias, as equipes de desenvolvimento provavelmente simplesmente o ignorariam em busca de soluções alternativas mais rápidas e não verificadas para cumprir seus prazos.
Divulgar abertamente o kit de ferramentas significa que os controles de segurança e governança podem caber em qualquer pilha de tecnologia. Não importa se uma organização executa modelos locais abertos, se apoia em concorrentes como a Anthropic ou implanta arquiteturas híbridas.
A criação de um padrão aberto para a segurança do agente de IA também permite que a comunidade mais ampla de segurança cibernética participe. Os fornecedores de segurança podem empilhar painéis comerciais e integrações de resposta a incidentes sobre essa base aberta, o que acelera a maturidade de todo o ecossistema. Para as empresas, eles evitam a dependência do fornecedor, mas ainda assim obtêm uma linha de base de segurança examinada universalmente.
A próxima fase da governança de IA empresarial
A governança empresarial não se limita apenas à segurança; atinge também a supervisão financeira e operacional. Agentes autônomos são executados em um ciclo contínuo de raciocínio e execução, queimando tokens de API a cada etapa. Startups e empresas já estão vendo os custos de token explodirem quando implantam sistemas de agente.
Sem governança em tempo de execução, um agente encarregado de pesquisar uma tendência de mercado pode decidir acessar um banco de dados proprietário caro milhares de vezes antes de terminar. Deixado sozinho, um agente mal configurado preso em um loop recursivo pode acumular enormes contas de computação em nuvem em poucas horas.
O kit de ferramentas de tempo de execução oferece às equipes uma maneira de impor limites rígidos ao consumo de tokens e à frequência de chamadas de API. Ao definir limites sobre quantas ações exatas um agente pode realizar em um período específico, a previsão dos custos de computação fica muito mais fácil. Ele também impede que processos descontrolados consumam recursos do sistema.
Uma camada de governança em tempo de execução fornece as métricas quantitativas e os mecanismos de controle necessários para atender aos mandatos de conformidade. Os dias em que apenas se confiava nos fornecedores de modelos para filtrar resultados ruins estão acabando. A segurança do sistema agora recai sobre a infraestrutura que realmente executa as decisões dos modelos
Fazer decolar um programa de governança maduro exigirá uma colaboração estreita entre as equipes de operações de desenvolvimento, jurídicas e de segurança. Os modelos de linguagem estão apenas aumentando em capacidade, e as organizações que implementam controles rígidos de tempo de execução hoje são as únicas que estarão equipadas para lidar com os fluxos de trabalho autônomos de amanhã.
Veja também: À medida que os agentes de IA assumem mais tarefas, a governação torna-se uma prioridade
Quer saber mais sobre IA e big data dos líderes do setor? Confira a AI & Big Data Expo que acontece em Amsterdã, Califórnia e Londres. O evento abrangente faz parte da TechEx e está localizado junto com outros eventos de tecnologia líderes, incluindo o Cyber Security & Cloud Expo. Clique aqui para mais informações.
AI News é desenvolvido pela TechForge Media. Explore outros eventos e webinars de tecnologia empresarial futuros aqui.
Fontesartificialintelligence
