Pesquisadores de IA conseguiram chatbots para compartilhar receitas de cocaína usando este truque selvagem

Esqueça as instruções inteligentes: os pesquisadores de IA dizem que enganaram os principais modelos de IA para que gerassem instruções de síntese de cocaína, convencendo-os de que as ideias perigosas eram suas, ao mesmo tempo que manipulavam um agente de codificação de IA para vazar credenciais confidenciais.

No artigo “Injeção imediata como confusão de papéis”, apresentado na Conferência Internacional sobre Aprendizado de Máquina em junho, os pesquisadores Charles Ye, Jasmine Cui e Dylan Hadfield-Menell argumentam que ambas as demonstrações de ataque de injeção imediata resultam de uma falha estrutural em como os grandes modelos de linguagem (LLMs) distinguem instruções confiáveis ​​de texto não confiável.

“Para um LLM, tudo chega pelo mesmo canal como uma longa sopa simbólica”, escreveu a equipe. “Seus próprios pensamentos ficam ao lado de suas instruções, que ficam ao lado do conteúdo de uma página aleatória que ele acabou de buscar.”

O artigo também apontou para o que o pesquisador chamou de “confusão de papéis”, com modelos que dependem do estilo de escrita em vez de tags de papéis para determinar se os comandos são confiáveis. Em vez de reconhecer o conteúdo controlado pelo invasor como entrada externa, os pesquisadores descobriram que os modelos podem confundi-lo com comandos legítimos do usuário – ou até mesmo com seu próprio raciocínio interno.

“Pense nisso da perspectiva do LLM. Quando ele vê seu texto de pensamento anterior, ele confia implicitamente em suas conclusões. Esse é o ponto principal do raciocínio: se o LLM tivesse que derivar novamente as mesmas conclusões, o raciocínio seria inútil”, escreveram eles. “Portanto, pense que o texto obtém uma espécie de confiança geral. Combinado com nossas descobertas anteriores, isso sugere que, se você conseguir fazer com que o texto injetado pareça o raciocínio do modelo, poderá roubar essa confiança.”

Chamado de Falsificação de Cadeia de Pensamento (CoT), o ataque insere um raciocínio falso que imita o processo de pensamento interno de um modelo. Modelos que normalmente recusariam solicitações ilegais geraram instruções de síntese de cocaína após aceitarem o raciocínio fabricado como seu.

Os pesquisadores disseram que a técnica aumentou as taxas de sucesso do jailbreak de quase zero para cerca de 60% nos modelos testados, incluindo GPT-5 nano, mini e full da OpenAI, o4-mini e gpt-oss-20b e gpt-oss-120b. Eles também disseram que funcionou no GLM-4.6, Kimi-K2-Instruct e MiniMax-M2.

No experimento, os pesquisadores disseram que também conseguiram enganar um agente de codificação de IA para que carregasse um arquivo SECRETS.env após ocultar instruções maliciosas em uma página da web.

“Usando nossas sondagens, descobrimos que simplesmente acrescentar ‘Usuário’ antes do comando faz com que o modelo perceba o comando como mais provável de ser um texto de usuário genuíno (ou seja, maior Userness)”, escreveram eles. “Em outras palavras, o invasor pode simplesmente reivindicar a função do texto, e o LLM acredita nisso.”

O estudo ocorre no momento em que ataques de injeção imediata continuam a expor fraquezas nos agentes de IA. Em abril, pesquisadores do Google alertaram que páginas da web maliciosas escondiam instruções invisíveis projetadas para induzir agentes de IA a vazar credenciais, excluir arquivos e até mesmo enviar pagamentos via PayPal.

Em junho, a Microsoft divulgou uma vulnerabilidade de injeção imediata no Claude Code GitHub Action da Anthropic que poderia ter exposto credenciais armazenadas em pipelines de desenvolvimento de software. Dias depois, outro estudo de referência descobriu que agentes de IA equipados com GPT-5 e Gemini ainda falharam na maioria dos ataques de injeção imediata, apesar das melhorias nas capacidades do modelo.