Os conselhos de administração estão pressionando por ganhos de produtividade com modelos de linguagem extensa e assistentes de IA. No entanto, os mesmos recursos que tornam a IA útil – navegar em sites ativos, lembrar o contexto do usuário e conectar-se a aplicativos de negócios – também expandem a superfície de ataque cibernético.
Os pesquisadores da Tenable publicaram um conjunto de vulnerabilidades e ataques sob o título “HackedGPT”, mostrando como a injeção indireta imediata e técnicas relacionadas podem permitir a exfiltração de dados e a persistência de malware. Alguns problemas foram corrigidos, enquanto outros permanecem exploráveis no momento da divulgação da Tenable, de acordo com um comunicado emitido pela empresa.
A remoção dos riscos inerentes às operações dos assistentes de IA requer governança, controles e métodos operacionais que tratem a IA como um usuário ou dispositivo, na medida em que a tecnologia deve estar sujeita a auditoria e monitoramento rigorosos
A pesquisa da Tenable mostra as falhas que podem transformar os assistentes de IA em problemas de segurança. A injeção indireta de prompt oculta instruções no conteúdo da web que o assistente lê durante a navegação, instruções que acionam o acesso aos dados que o usuário nunca pretendia. Outro vetor envolve o uso de uma consulta front-end que propaga instruções maliciosas.
O impacto nos negócios é claro, incluindo a necessidade de resposta a incidentes, revisão legal e regulatória e medidas tomadas para reduzir danos à reputação.
Já existem pesquisas que mostram que os assistentes podem vazar informações pessoais ou confidenciais por meio de técnicas de injeção, e os fornecedores de IA e especialistas em segurança cibernética precisam corrigir os problemas à medida que surgem.
O padrão é familiar para qualquer pessoa do setor de tecnologia: à medida que os recursos se expandem, também aumentam os modos de falha. Tratar os assistentes de IA como aplicações ao vivo voltadas para a Internet – e não como impulsionadores de produtividade – pode melhorar a resiliência.
Como governar os assistentes de IA, na prática
1) Estabeleça um registro de sistema de IA
Faça um inventário de cada modelo, assistente ou agente em uso – em nuvem pública, no local e software como serviço, de acordo com o NIST AI RMF Playbook. Proprietário do registro, finalidade, capacidades (navegação, conectores de API) e domínios de dados acessados. Mesmo sem esta lista de ativos de IA, os “agentes sombra” podem persistir com privilégios que ninguém monitoriza. Shadow AI – em um estágio incentivado por empresas como a Microsoft, que incentivou os usuários a implantar licenças domésticas do Copilot no trabalho – é uma ameaça significativa.
2) Identidades separadas para humanos, serviços e agentes
O gerenciamento de identidade e acesso combina contas de usuário, contas de serviço e dispositivos de automação. Assistentes que acessam sites, chamam ferramentas e gravam dados precisam de identidades distintas e estão sujeitos a políticas de confiança zero e privilégio mínimo. Mapear cadeias de agente para agente (quem perguntou quem fazer o quê, sobre quais dados e quando) é um rastro mínimo que pode garantir algum grau de responsabilidade. É importante notar que a IA agente é suscetível a resultados e ações “criativas”, mas, ao contrário do pessoal humano, não é restringida por políticas disciplinares.
3) Restringir recursos de risco por contexto
Faça com que a navegação e as ações independentes realizadas pelos assistentes de IA sejam ativadas por caso de uso. Para assistentes que atendem o cliente, estabeleça tempos de retenção curtos, a menos que haja um motivo forte e uma base legal em contrário. Para engenharia interna, use assistentes de IA, mas apenas em projetos segregados com registro rigoroso. Aplique prevenção contra perda de dados ao tráfego do conector se os assistentes puderem acessar armazenamentos de arquivos, mensagens ou e-mail. Problemas anteriores com plug-ins e conectores demonstram como as integrações aumentam a exposição.
4) Monitore como qualquer aplicativo voltado para a Internet
- Capture ações de assistente e chamadas de ferramentas como registros estruturados.
- Alerta sobre anomalias: picos repentinos na navegação em domínios desconhecidos; tenta resumir blocos de código opacos; explosões incomuns de gravação na memória; ou acesso ao conector fora dos limites da política.
- Incorpore testes de injeção nas verificações de pré-produção.
5) Construa o músculo humano
Treine desenvolvedores, engenheiros de nuvem e analistas para reconhecer sintomas de injeção. Incentive os usuários a relatar comportamentos estranhos (por exemplo, um assistente resumindo inesperadamente o conteúdo de um site que eles não abriram). Torne normal colocar um assistente em quarentena, limpar a memória e alternar suas credenciais após eventos suspeitos. A lacuna de competências é real; sem qualificação, a governação atrasará a adoção.
Pontos de decisão para líderes de TI e de nuvem
| Pergunta | Por que isso importa |
|---|---|
| Quais assistentes podem navegar na web ou gravar dados? | Navegação e memória são caminhos comuns de injeção e persistência; restringir por caso de uso. |
| Os agentes têm identidades distintas e delegação auditável? | Impede “quem fez o quê?” lacunas quando as instruções são propagadas indiretamente. |
| Existe um registro de sistemas de IA com proprietários, escopos e retenção? | Apoia a governança, o dimensionamento correto dos controles e a visibilidade do orçamento. |
| Como os conectores e plug-ins são controlados? | As integrações de terceiros têm um histórico de problemas de segurança; aplique privilégio mínimo e DLP. |
| Testamos vetores de 0 clique e 1 clique antes de entrar no ar? | Pesquisas públicas mostram que ambos são viáveis por meio de links ou conteúdo elaborados. |
| Os fornecedores estão corrigindo prontamente e publicando correções? | A velocidade dos recursos significa que novos problemas aparecerão; verificar a capacidade de resposta. |
Riscos, visibilidade de custos e o fator humano
- Custo oculto: assistentes que navegam ou retêm memória consomem computação, armazenamento e saída de maneiras que as equipes financeiras e aqueles que monitoram o uso de Xaas por ciclo podem não ter sido modelados. Um registro e uma medição reduzem as surpresas.
- Lacunas de governança: estruturas de auditoria e conformidade criadas para usuários humanos não capturam automaticamente a delegação entre agentes. Alinhe os controles de acordo com os riscos do OWASP LLM e as categorias NIST AI RMF.
- Risco de segurança: a injeção indireta de prompt pode ser invisível para os usuários, transmitida pela formatação de mídia, texto ou código, conforme demonstrado por pesquisas.
- Lacuna de competências: muitas equipes ainda não fundiram práticas de IA/ML e segurança cibernética. Invista em treinamento que cubra modelagem assistente de ameaças e testes de injeção.
- Postura em evolução: espere uma cadência de novas falhas e correções. A correção do caminho de zero clique pela OpenAI no final de 2025 é um lembrete de que a postura do fornecedor muda rapidamente e precisa de verificação.
Resultado final
A lição para os executivos é simples: trate os assistentes de IA como aplicações poderosas e em rede com o seu próprio ciclo de vida e uma propensão para serem alvo de ataques e para tomarem medidas imprevisíveis. Implemente um registro, separe identidades, restrinja recursos arriscados por padrão, registre tudo que for significativo e ensaie a contenção.
Com essas proteções implementadas, é mais provável que a IA de agência forneça eficiência e resiliência mensuráveis – sem se tornar silenciosamente seu mais novo vetor de violação.
(Fonte da imagem: “The Enemy Within Unleashed” por aha42 | tehaha está licenciado sob CC BY-NC 2.0.)
Quer saber mais sobre IA e big data dos líderes do setor? Confira a AI & Big Data Expo que acontece em Amsterdã, Califórnia e Londres. O evento abrangente faz parte da TechEx e é realizado junto com outros eventos de tecnologia líderes. Clique aqui para mais informações.
AI News é desenvolvido pela TechForge Media. Explore outros eventos e webinars de tecnologia empresarial futuros aqui.
Fontesartificialintelligence
