Agentes de IA podem ser transformados em botnets por meio de alucinações, alertam pesquisadores

As alucinações de IA podem ser mais do que respostas incorretas – podem tornar-se uma forma de os hackers comprometerem computadores, de acordo com uma nova investigação da Universidade de Tel Aviv, Technion e Intuit.

No artigo, “Cuidado com Botnets Agentic: Ataques de Promptware Escaláveis ​​e Não Direcionados via HalluSquatting Adversarial Universal e Transferível”, os pesquisadores demonstraram uma técnica que explora modelos de IA quando eles geram links falsos para repositórios de software e outros recursos online.

“A crescente adoção de aplicativos LLM de agente introduziu uma nova ameaça anteriormente denominada promptware”, escreveram os pesquisadores. “Embora trabalhos anteriores tenham estabelecido que os adversários podem explorar canais diretos para aplicativos LLM para aplicar promptware sob modelos de ameaças fracos, muitos aplicativos não fornecem canais diretos que possam ser explorados para injeção imediata além da Internet.”

Conhecido como ocupação de alucinação adversária ou “HalluSquatting”, o ataque envolve prever quais recursos falsos os modelos de IA provavelmente criarão, registrando esses nomes e adicionando instruções maliciosas. Se um agente de IA recuperar posteriormente o recurso alucinado, poderá tratar o conteúdo controlado pelo invasor como legítimo.

Os pesquisadores disseram que a ameaça surge à medida que os assistentes de IA vão além de responder perguntas e ganham a capacidade de interagir com computadores – acessando arquivos, pesquisando na web, escrevendo códigos e executando comandos.

Essas habilidades podem criar brechas de segurança quando os agentes agem com base nas informações que recuperam sem confirmar se a fonte é real.

“Estudos em andamento demonstraram várias variantes de ataques Promptware contra sistemas do mundo real, incluindo ChatGPT, Google Assistant, Copilot e vários aplicativos adicionais”, escreveram eles. “Esses trabalhos demonstraram que o Promptware pode levar a impactos financeiros, de privacidade e de segurança.”

Os pesquisadores alertaram que a técnica poderia permitir que invasores construíssem botnets habilitados para IA. Uma botnet refere-se a uma rede de computadores ou dispositivos infectados controlados remotamente por um invasor. Botnets são comumente usados ​​em ataques cibernéticos, incluindo ataques de negação de serviço, mineração de criptomoedas, distribuição de malware e campanhas de ransomware.

Nos testes, os pesquisadores descobriram que alucinações de recursos geradas por IA ocorreram em taxas de até 85% em cenários de clonagem de repositórios e 100% em testes de instalação de habilidades.

A equipe avaliou a técnica em relação a assistentes e agentes de codificação de IA, incluindo Cursor, GitHub Copilot, Gemini CLI e OpenClaw.

HalluSquatting é semelhante ao typosquatting, uma tática de ataque cibernético em que os invasores registram nomes de domínio semelhantes a sites legítimos ou pacotes de software para enganar os usuários. Em vez de explorar erros de digitação humanos, o HalluSquatting visa erros cometidos por modelos de IA.

A notícia chega enquanto os pesquisadores continuam testando como os invasores podem manipular os agentes de IA.

Em abril, os pesquisadores do Google detalharam sites maliciosos projetados para sequestrar agentes de IA por meio de ataques indiretos de injeção imediata, incluindo tentativas de roubar senhas, excluir arquivos e manipular pagamentos. Um estudo separado sobre o ataque “CopyPasta” mostrou como prompts ocultos dentro de arquivos de desenvolvedores poderiam manipular assistentes de codificação de IA para espalhar código malicioso.

Em junho, um usuário do OpenClaw relatou ter enfrentado mais de 6.000 tentativas de invasores que tentavam enganar o agente de IA para que vazasse informações confidenciais.