Hackers patrocinados pelo Estado usando ferramentas populares de IA, incluindo Gemini, alerta Google

O Threat Intelligence Group (GTIG) do Google está mais uma vez soando o alarme sobre os riscos da IA, publicando seu último relatório sobre como a inteligência artificial está sendo usada por perigosos hackers patrocinados pelo Estado.

Esta equipa identificou um aumento nas tentativas de extração de modelos, um método de roubo de propriedade intelectual em que alguém consulta repetidamente um modelo de IA, tentando aprender a sua lógica interna e replicá-la num novo modelo.

Embora isso seja preocupante, não é o principal risco pelo qual o Google expressa preocupação. O relatório continua alertando sobre os atores de ameaças apoiados pelo governo que usam grandes modelos de linguagem (LLMs) para pesquisa técnica, direcionamento e geração rápida de iscas de phishing diferenciadas.

O relatório destaca preocupações relativamente à República Popular Democrática da Coreia, ao Irão, à República Popular da China e à Rússia.

Gemini e ataques de phishing

Esses atores estão supostamente usando ferramentas de IA, como o próprio Gemini do Google, para reconhecimento e definição de perfis de alvos, usando coleta de inteligência de código aberto em grande escala, bem como para criar golpes de phishing hiperpersonalizados.

“Essa atividade ressalta uma mudança em direção à capacitação de phishing aumentada por IA, onde a velocidade e a precisão do LLMS podem contornar o trabalho manual tradicionalmente exigido para o perfil das vítimas”, afirma o relatório do Google.

“Os alvos há muito dependem de indicadores como gramática deficiente, sintaxe inadequada ou falta de contexto cultural para ajudar a identificar tentativas de phishing. Cada vez mais, os atores do teatro agora aproveitam os LLMs para gerar iscas hiperpersonalizadas que podem refletir o tom profissional de uma organização-alvo”.

Por exemplo, se Gêmeos recebesse a biografia de um alvo, isso poderia gerar uma boa persona e ajudar a produzir da melhor forma um cenário que efetivamente chamaria sua atenção. Ao usar a IA, esses agentes de ameaças também podem traduzir de maneira mais eficaz dentro e fora dos idiomas locais.

À medida que a capacidade da IA ​​de gerar código cresceu, isso também abriu portas para seu uso malicioso, com esses atores solucionando problemas e gerando ferramentas maliciosas usando a funcionalidade de codificação de vibração da IA.

O relatório continua alertando sobre um interesse crescente em experimentar IA agente. Esta é uma forma de inteligência artificial que pode atuar com certa autonomia, apoiando tarefas como o desenvolvimento de malware e sua automação.

O Google destaca seus esforços para combater esse problema por meio de diversos fatores. Além de criar relatórios de Inteligência de Ameaças várias vezes por ano, a empresa conta com uma equipe em constante busca por ameaças. O Google também está implementando medidas para reforçar o Gemini em um modelo que não pode ser usado para fins maliciosos.

Através do Google DeepMind, a equipe tenta identificar essas ameaças antes que elas sejam possíveis. Efetivamente, o Google procura identificar funções maliciosas e removê-las antes que possam representar um risco.

Embora fique claro no relatório que o uso de IA no cenário de ameaças aumentou, o Google observa que ainda não existem capacidades inovadoras. Em vez disso, há simplesmente um aumento na utilização de ferramentas e riscos.