‘Enxames’ de IA podem aumentar a desinformação e manipulação on-line, alertam pesquisadores

A era das botnets facilmente detectáveis ​​está chegando ao fim, de acordo com um novo relatório publicado em Ciência na quinta-feira. No estudo, os investigadores alertaram que as campanhas de desinformação estão a migrar para enxames autónomos de IA que podem imitar o comportamento humano, adaptar-se em tempo real e exigir pouca supervisão humana, complicando os esforços para os detectar e impedir.

Escrito por um consórcio de pesquisadores, incluindo pesquisadores de Oxford, Cambridge, UC Berkeley, NYU e do Instituto Max Planck, o artigo descreve um ambiente digital em que a manipulação se torna mais difícil de identificar. Em vez de pequenas explosões ligadas a eleições ou à política, estas campanhas de IA podem sustentar uma narrativa durante longos períodos de tempo.

“Nas mãos de um governo, tais ferramentas poderiam suprimir a dissidência ou amplificar os titulares”, escreveram os investigadores. “Portanto, a implantação de IA defensiva só pode ser considerada se for governada por estruturas rigorosas, transparentes e democraticamente responsáveis.”

Um enxame é um grupo de agentes autônomos de IA que trabalham juntos para resolver problemas ou completar objetivos com mais eficiência do que um único sistema. Os pesquisadores disseram que os enxames de IA se baseiam nas fraquezas existentes nas plataformas de mídia social, onde os usuários são frequentemente isolados de pontos de vista opostos.

“Foi demonstrado que as notícias falsas se espalham de forma mais rápida e ampla do que as notícias verdadeiras, aprofundando realidades fragmentadas e corroendo bases factuais partilhadas”, escreveram eles. “Evidências recentes vinculam a curadoria otimizada para engajamento à polarização, com algoritmos de plataforma amplificando conteúdo divisivo mesmo às custas da satisfação do usuário, degradando ainda mais a esfera pública.”

Essa mudança já é visível nas principais plataformas, de acordo com Sean Ren, professor de ciência da computação na Universidade do Sul da Califórnia e CEO da Sahara AI, que disse que as contas baseadas em IA são cada vez mais difíceis de distinguir dos utilizadores comuns.

“Acho que um KYC mais rigoroso, ou validação de identidade de conta, ajudaria muito aqui”, disse Ren Descriptografar. “Se é mais difícil criar novas contas e mais fácil monitorar spammers, fica muito mais difícil para os agentes usarem um grande número de contas para manipulação coordenada.”

As campanhas de influência anteriores dependiam em grande parte da escala e não da subtileza, com milhares de contas a publicar mensagens idênticas em simultâneo, o que tornava a deteção relativamente simples. Em contraste, afirma o estudo, os enxames de IA exibem “autonomia, coordenação e escala sem precedentes”.

Ren disse que é improvável que a moderação de conteúdo por si só pare esses sistemas. O problema, disse ele, é como as plataformas gerenciam a identidade em grande escala. Verificações de identidade mais rigorosas e limites à criação de contas, disse ele, poderiam tornar o comportamento coordenado mais fácil de detectar, mesmo quando postagens individuais parecem humanas.

“Se o agente puder usar apenas um pequeno número de contas para postar conteúdo, será muito mais fácil detectar usos suspeitos e banir essas contas”, disse ele.

Nenhuma solução simples

Os investigadores concluíram que não existe uma solução única para o problema, com opções potenciais que incluem uma melhor detecção de coordenação estatisticamente anómala e uma maior transparência em torno da actividade automatizada, mas dizem que as medidas técnicas por si só provavelmente não serão suficientes.

De acordo com Ren, os incentivos financeiros também continuam a ser um motor persistente de ataques de manipulação coordenados, mesmo quando as plataformas introduzem novas salvaguardas técnicas.

“Esses enxames de agentes são geralmente controlados por equipes ou fornecedores que recebem incentivos monetários de partes ou empresas externas para fazer a manipulação coordenada”, disse ele. “As plataformas devem aplicar mecanismos mais fortes de KYC e detecção de spam para identificar e filtrar contas manipuladas por agentes.”