OpenAI revela que mais de 1 milhão de usuários do ChatGPT discutem suicídio semanalmente

A OpenAI divulgou na segunda-feira que cerca de 1,2 milhão de pessoas entre 800 milhões de usuários semanais discutem suicídio com o ChatGPT todas as semanas, no que poderia ser o relato público mais detalhado da empresa sobre crises de saúde mental em sua plataforma.

“Essas conversas são difíceis de detectar e medir, dada a sua raridade”, escreveu a OpenAI em um blog. “Nossa análise inicial estima que cerca de 0,15% dos usuários ativos em uma determinada semana têm conversas que incluem indicadores explícitos de potencial planejamento ou intenção suicida, e 0,05% das mensagens contêm indicadores explícitos ou implícitos de ideação ou intenção suicida.”

Isso significa que, se os números da OpenAI forem precisos, quase 400.000 usuários ativos foram explícitos em suas intenções de cometer suicídio, não apenas insinuando isso, mas procurando ativamente informações para fazê-lo.

Os números são surpreendentes em termos absolutos. Outros 560 mil usuários mostram sinais de psicose ou mania semanalmente, enquanto 1,2 milhão apresentam maior apego emocional ao chatbot, segundo dados da empresa.

“Recentemente atualizamos o modelo padrão do ChatGPT⁠ (abre em uma nova janela) para melhor reconhecer e apoiar as pessoas em momentos de angústia”, disse OpenAI em uma postagem no blog. “No futuro, além de nossas métricas de segurança de base de longa data para suicídio e automutilação, estamos adicionando confiança emocional e emergências de saúde mental não suicidas ao nosso conjunto padrão de testes de segurança de base para futuros lançamentos de modelos.”

Mas alguns acreditam que os esforços declarados da empresa podem não ser suficientes.

Steven Adler, um ex-pesquisador de segurança da OpenAI que passou quatro anos lá antes de partir em janeiro, alertou sobre os perigos do desenvolvimento acelerado da IA. Ele diz que há poucas evidências de que a OpenAI realmente melhorou o tratamento de usuários vulneráveis ​​antes do anúncio desta semana.

“As pessoas merecem mais do que apenas a palavra de uma empresa de que abordou questões de segurança. Em outras palavras: prove isso”, escreveu ele em uma coluna para o Wall Street Journal.

“O lançamento de algumas informações de saúde mental pela OpenAI foi um grande passo, mas é importante ir mais longe”, tuitou Adler, pedindo relatórios de transparência recorrentes e clareza sobre se a empresa continuará permitindo que usuários adultos gerem erotismo com ChatGPT – um recurso anunciado apesar das preocupações de que ligações românticas alimentam muitas crises de saúde mental.

O ceticismo tem mérito. Em abril, a OpenAI lançou uma atualização GPT-4o que tornou o chatbot tão bajulador que se tornou um meme, aplaudindo decisões perigosas e reforçando crenças delirantes.

O CEO Sam Altman reverteu a atualização após reação negativa, admitindo que era “muito bajulador e irritante”.

Então a OpenAI voltou atrás: depois de lançar o GPT-5 com proteções mais rígidas, os usuários reclamaram que o novo modelo parecia “frio”. A OpenAI restabeleceu o acesso ao modelo problemático GPT-4o para assinantes pagantes – o mesmo modelo ligado às espirais de saúde mental.

Curiosidade: muitas das perguntas feitas hoje no primeiro AMA ao vivo da empresa estavam relacionadas ao GPT-4o e como tornar os modelos futuros mais parecidos com o 4o.

A OpenAI diz que o GPT-5 agora atinge 91% de conformidade em cenários relacionados ao suicídio, acima dos 77% da versão anterior. Mas isso significa que o modelo anterior – disponível para milhões de usuários pagantes durante meses – falhou quase um quarto das vezes em conversas sobre automutilação.

No início deste mês, Adler publicou uma análise de Allan Brooks, um canadense que caiu em delírios depois que o ChatGPT reforçou sua crença de ter descoberto a matemática revolucionária.

Adler descobriu que os próprios classificadores de segurança da OpenAI – desenvolvidos com o MIT e tornados públicos – teriam sinalizado mais de 80% das respostas do ChatGPT como problemáticas. A empresa aparentemente não os estava usando.

A OpenAI agora enfrenta um processo por homicídio culposo dos pais de Adam Raine, de 16 anos, que discutiu suicídio com ChatGPT antes de tirar sua vida.

A resposta da empresa atraiu críticas por sua agressividade, solicitando a lista de participantes e elogios do memorial do adolescente – uma medida que os advogados chamaram de “assédio intencional”.

Adler quer que a OpenAI se comprometa com relatórios recorrentes de saúde mental e investigação independente da crise de bajulação de abril, ecoando uma sugestão de Miles Brundage, que deixou a OpenAI em outubro, após seis anos aconselhando sobre políticas e segurança de IA.

“Gostaria que a OpenAI se esforçasse mais para fazer a coisa certa, mesmo antes de haver pressão da mídia ou de ações judiciais”, escreveu Adler.

A empresa afirma que trabalhou com 170 médicos de saúde mental para melhorar as respostas, mas mesmo o seu painel consultivo discordou 29% das vezes sobre o que constitui uma resposta “desejável”.

E embora o GPT-5 apresente melhorias, a OpenAI admite que as suas salvaguardas se tornam menos eficazes em conversas mais longas – precisamente quando os utilizadores vulneráveis ​​mais precisam delas.