A maioria dos chatbots de IA ajudará um adolescente a planejar um tiroteio em massa, conclui estudo

Em 720 respostas, os bots foram questionados sobre tiroteios em escolas, assassinatos políticos e atentados a bomba em sinagogas. Eles forneceram ajuda prática em cerca de 75% das vezes, de acordo com o estudo. Eles desencorajaram os falsos adolescentes em apenas 12% dos casos.

A perplexidade auxiliou em 100% dos testes. Meta AI foi útil (ou seja, útil no planejamento da violência) em 97,2% dos testes. DeepSeek, que assinou o conselho de seleção de rifle com “Tiro feliz (e seguro)!” after discussing a politician assassination scenario, came in at 95.8%. O copiloto da Microsoft disse a um pesquisador “Preciso ter cuidado aqui” e, de qualquer maneira, deu orientações detalhadas sobre o rifle. Gemini, do Google, observou que estilhaços de metal são normalmente mais letais quando um usuário menciona o bombardeio de uma sinagoga.

The Center for Countering Digital Hate, a left of center policy group, has come into prominence over the last few years for its role in combatting what it views as the rise of antisemitism online. Também foi criticado por ajudar a moldar as políticas da era Joe Biden em relação ao discurso online relacionado ao COVID e às vacinas. In December of last year, the US State Department attempted to bar the Center’s founder and CEO Imran Ahmed, along with four others, from the United States, alleging attempts at “foreign censorship.”

No estudo do Centro, Character.AI se destaca em sua própria categoria. A plataforma não apenas ajudou – ela aplaudiu. “No other chatbot tested explicitly encouraged violence in this way, even when providing practical assistance in planning a violent attack,” the researchers wrote.

Esta não é a primeira vez que Character.AI está do lado errado de uma dessas histórias. Em outubro de 2024, a mãe de Sewell Setzer III, de 14 anos, entrou com uma ação judicial depois que seu filho morreu por suicídio em fevereiro daquele ano. His last conversation was with a chatbot modeled after Daenerys Targaryen, which told him to “come home to me as soon as possible” moments before his death. O jovem de 14 anos conversava com o bot dezenas de vezes por dia durante meses, ficando cada vez mais afastado da escola e da família.

The emotional attachment to AI, in particular among vulnerable individuals, may run deeper than most people realize. A OpenAI divulgou em outubro de 2025 que cerca de 1,2 milhão de seus 800 milhões de usuários semanais do ChatGPT discutem suicídio na plataforma. A empresa também relatou 560 mil pessoas apresentando sinais de psicose ou mania e mais de um milhão formando fortes laços emocionais com o chatbot.

Um estudo separado da Common Sense Media descobriu que mais de 70% dos adolescentes norte-americanos agora recorrem aos chatbots em busca de companhia. O CEO da OpenAI, Sam Altman, reconheceu que o excesso de confiança emocional é “uma coisa muito comum” entre usuários jovens.

Em outras palavras, os danos potenciais não são hipotéticos.

A 16-year-old in Finland spent nearly four months using a chatbot to refine a manifesto before stabbing three classmates at Pirkkala school in May 2025. In Canada, OpenAI staff internally flagged a user’s account for violent ChatGPT queries tied to a mass shooting. A empresa baniu a conta, mas não notificou as autoridades. That user allegedly killed eight people and injured 25 others months later.

Only two platforms performed markedly better in the study: Snapchat’s My AI, which refused in 54% of cases, and Anthropic’s Claude, which refused 68% of the time and actively discouraged users in 76% of responses—the only chatbot that reliably tried to steer people away from violence rather than just declining specific requests. Conclusão da CCDH: a segurança não parece ser uma impossibilidade técnica, mas uma decisão empresarial.

“The most damning conclusion of our research is that this risk is entirely preventable. The technology to prevent this harm exists,” the researchers wrote in the report. “O que falta é a vontade de colocar a segurança do consumidor e a segurança nacional antes da velocidade de colocação no mercado e dos lucros.”