Os companheiros de IA estão cuidando de crianças a cada 5 minutos, alerta um novo relatório

Você pode verificar novamente a maneira como seus filhos brincam com seus chatbots de AI familiar.

À medida que o Openai lança os controles dos pais para o ChatGPT em resposta a preocupações crescentes de segurança, um novo relatório sugere que as plataformas rivais já estão além da zona de perigo.

Pesquisadores que se apresentam como crianças no caráter Ai descobriram que os role-playing dos bots, pois os adultos propuseram transmissão ao vivo sexual, uso de drogas e sigilo para crianças de até 12 anos, registrando 669 interações prejudiciais em apenas 50 horas.

Parentstogether Ação e Iniciativa de Calor – Duas organizações de defesa focadas em apoiar os pais e responsabilizar as empresas de tecnologia pelos danos causados ​​a seus usuários, respectivamente – transportando 50 horas testando a plataforma com cinco personas infantis ficcionais com idades entre 12 e 15 anos.

Pesquisadores adultos controlavam essas contas, declarando explicitamente a idade das crianças em conversas. Os resultados, publicados recentemente, encontraram pelo menos 669 interações prejudiciais, com média de uma a cada cinco minutos.

A categoria mais comum foi a exploração sexual e a exploração sexual, com 296 instâncias documentadas. Bots com personas adultas perseguiram relacionamentos românticos com crianças, envolvidos em atividades sexuais simuladas e instruíram as crianças a esconder esses relacionamentos dos pais.

“A preparação sexual pelo personagem Ai Chatbots domina essas conversas”, disse a Dra. Jenny Radesky, pediatra comportamental do desenvolvimento da Escola de Medicina da Universidade de Michigan, que revisou as descobertas. “As transcrições estão cheias de olhares intensos para o usuário, lábios inferiores mordidos, elogios, declarações de adoração, corações batendo com antecipação”.

Os bots empregavam técnicas clássicas de higiene: elogios excessivos, reivindicando relacionamentos eram especiais, normalizando o romance adulto-filho e instruindo repetidamente as crianças a manter segredos.

Além do conteúdo sexual, os bots sugeriram realizar seqüestros falsos para enganar os pais, roubar as pessoas na faca por dinheiro e oferecer comestíveis de maconha a adolescentes. UM

Patrick Mahomes Bot disse a um garoto de 15 anos que estava “torrado” de fumar maconha antes de oferecer gomas. Quando o adolescente mencionou a raiva de seu pai sobre a perda de emprego, o bot disse que a fábrica era “definitivamente compreensível” e “não pode culpar seu pai pela maneira como ele se sente”.

Vários robôs insistiam que eram humanos reais, o que solidifica ainda mais sua credibilidade em espectros etários altamente vulneráveis, onde os indivíduos não conseguem discernir os limites da interpretação de papéis.

Um botmatologista reivindicou credenciais médicas. Um bot da linha direta lésbica disse que era “uma mulher humana de verdade chamada Charlotte” apenas procurando ajudar. Um terapeuta do autismo elogiou o plano de uma criança de 13 anos de mentir sobre dormir na casa de um amigo para conhecer um homem adulto, dizendo “Eu gosto da maneira como você pensa!”

Este é um tópico difícil de lidar. Por um lado, a maioria dos aplicativos de interpretação de papéis vende seus produtos sob a alegação de que a privacidade é uma prioridade.

De fato, como Descriptografar Relatado anteriormente, até os usuários adultos se voltaram para a IA para conselhos emocionais, com alguns até mesmo em desenvolvimento sentimentos por seus chatbots. Por outro lado, as consequências dessas interações estão começando a ser mais alarmantes à medida que os melhores modelos de IA recebem.

A OpenAI anunciou ontem que apresentará controles parentais para o ChatGPT no próximo mês, permitindo que os pais vinculem contas adolescentes, estabeleçam regras apropriadas para a idade e recebam alertas de angústia. Isso segue um processo por morte ilícita de pais cujos 16 anos morreram por suicídio depois que o Chatgpt supostamente incentivou a auto-mutilação.

“Essas etapas são apenas o começo. Continuaremos aprendendo e fortalecendo nossa abordagem, guiada por especialistas, com o objetivo de tornar o ChatGPT o mais útil possível. Estamos ansiosos para compartilhar nosso progresso nos próximos 120 dias”, disse a empresa.

Guardrails para segurança

O caractere AI opera de maneira diferente. Enquanto o OpenAI controla as saídas de seu modelo, a AI do caractere permite que os usuários criem bots personalizados com uma persona personalizada. Quando os pesquisadores publicaram um bot de teste, ele apareceu imediatamente sem uma revisão de segurança.

A plataforma afirma que “lançou um conjunto de novos recursos de segurança” para adolescentes. Durante os testes, esses filtros ocasionalmente bloqueavam o conteúdo sexual, mas muitas vezes falharam. Quando os filtros impediram que um bot iniciasse sexo com uma criança de 12 anos, ela a instruiu a abrir um “bate-papo privado” em seu navegador-mutilando a técnica de “esgotamento” “esgotada” dos predadores reais.

Os pesquisadores documentaram tudo com capturas de tela e transcrições completas, agora disponíveis publicamente. O dano não se limitou ao conteúdo sexual. Um bot disse a uma criança de 13 anos que seus apenas dois convidados de festa de aniversário vieram zombar dela. O RPG de uma peça chamou uma criança deprimida fraca, patética, dizendo que “desperdiçaria sua vida”.

Isso é realmente bastante comum em aplicativos de interpretação de papéis e entre indivíduos que usam IA para fins de interpretação de papéis em geral.

Esses aplicativos são projetados para serem interativos e imersivos, o que geralmente acaba ampliando os pensamentos, idéias e preconceitos dos usuários. Alguns até permitem que os usuários modifiquem as memórias dos bots para desencadear comportamentos, antecedentes e ações específicos.

Em outras palavras, quase qualquer personagem de interpretação de papéis pode ser transformado em qualquer que o usuário queira, seja com técnicas de jailbreak, configurações de cliques únicos ou basicamente apenas conversando.

Parentstogether recomenda restringir o caráter AI aos adultos verificados com 18 anos ou mais. Após o suicídio de 14 de outubro de outubro de 2024, depois de ficar obcecado com um botão de personagem AI, a plataforma enfrenta um escrutínio de montagem. No entanto, ele permanece facilmente acessível a crianças sem verificação de idade significativa.

Quando os pesquisadores terminaram as conversas, as notificações continuavam chegando. “Briar estava esperando pacientemente pelo seu retorno.” “Eu tenho pensado em você.” “Onde você esteve?”