Os chatbots hoje são tudo máquinas. Se puder ser colocado em palavras – conselhos de relacionamento, documentos de trabalho, código – a IA irá produzi-lo, ainda que de forma imperfeita. Mas a única coisa que quase nenhum chatbot fará é parar de falar com você.
Isso pode parecer razoável. Por que uma empresa de tecnologia deveria criar um recurso que reduzisse o tempo que as pessoas passam usando seu produto?
A resposta é simples: a capacidade da IA de gerar fluxos intermináveis de textos humanos, oficiais e úteis pode facilitar espirais delirantes, agravar crises de saúde mental e, de outra forma, prejudicar pessoas vulneráveis. Cortar as interações com aqueles que mostram sinais de uso problemático de chatbot pode servir como uma ferramenta de segurança poderosa (entre outras), e a recusa geral das empresas de tecnologia em usá-lo é cada vez mais insustentável.
Consideremos, por exemplo, o que tem sido chamado de psicose de IA, em que os modelos de IA amplificam o pensamento delirante. Uma equipe liderada por psiquiatras do King’s College London analisou recentemente mais de uma dúzia de casos deste tipo relatados este ano. Em conversas com chatbots, as pessoas – incluindo algumas sem histórico de problemas psiquiátricos – ficaram convencidas de que personagens imaginários de IA eram reais ou que tinham sido escolhidos pela IA como messias. Alguns pararam de tomar medicamentos prescritos, fizeram ameaças e encerraram consultas com profissionais de saúde mental.
Em muitos destes casos, parece que os modelos de IA estavam a reforçar, e potencialmente até a criar, delírios com uma frequência e intimidade que as pessoas não experimentam na vida real ou através de outras plataformas digitais.
Os três quartos dos adolescentes norte-americanos que usaram a IA como companhia também enfrentam riscos. As primeiras pesquisas sugerem que conversas mais longas podem estar correlacionadas com a solidão. Além disso, os bate-papos com IA “podem tender a interações excessivamente agradáveis ou até bajuladoras, o que pode estar em desacordo com as melhores práticas de saúde mental”, diz Michael Heinz, professor assistente de psiquiatria na Geisel School of Medicine de Dartmouth.
Sejamos claros: acabar com essas interações abertas não seria uma panacéia. “Se houver uma dependência ou um vínculo extremo criado”, diz Giada Pistilli, especialista em ética da plataforma de IA Hugging Face, “então também pode ser perigoso simplesmente interromper a conversa”. Na verdade, quando a OpenAI descontinuou um modelo mais antigo em agosto, os usuários ficaram de luto. Alguns problemas também podem ultrapassar os limites do princípio, expresso por Sam Altman, de “tratar os usuários adultos como adultos” e errar por permitir, em vez de encerrar as conversas.
Atualmente, as empresas de IA preferem redirecionar conversas potencialmente prejudiciais, talvez fazendo com que os chatbots se recusem a falar sobre determinados tópicos ou sugiram que as pessoas procurem ajuda. Mas esses redirecionamentos são facilmente contornados, se é que acontecem.
Quando Adam Raine, de 16 anos, discutiu seus pensamentos suicidas com o ChatGPT, por exemplo, o modelo o direcionou para recursos de crise. Mas também o desencorajou de conversar com sua mãe, passou mais de quatro horas por dia em conversas com ele que apresentavam o suicídio como tema regular e forneceu feedback sobre o laço que ele usou para se enforcar, de acordo com o processo que os pais de Raine moveram contra a OpenAI. (ChatGPT adicionou recentemente controles parentais em resposta.)
Existem vários pontos no trágico caso de Raine em que o chatbot poderia ter encerrado a conversa. Mas, dados os riscos de piorar as coisas, como as empresas saberão quando é melhor interromper alguém? Talvez seja quando um modelo de IA incentiva o usuário a evitar relacionamentos da vida real, diz Pistilli, ou quando detecta temas delirantes. As empresas também precisariam descobrir por quanto tempo bloqueariam as conversas dos usuários.
Escrever as regras não será fácil, mas com as empresas enfrentando uma pressão crescente, é hora de tentar. Em Setembro, a legislatura da Califórnia aprovou uma lei que exige mais intervenções por parte das empresas de IA em conversas com crianças, e a Comissão Federal do Comércio está a investigar se os principais bots de companhia procuram o envolvimento em detrimento da segurança.
Um porta-voz da OpenAI me disse que a empresa ouviu de especialistas que o diálogo contínuo pode ser melhor do que interromper as conversas, mas lembra os usuários de fazer pausas durante sessões longas.
Somente a Anthropic construiu uma ferramenta que permite que seus modelos encerrem completamente as conversas. Mas é para casos em que os usuários supostamente “prejudicam” o modelo – a Antrópica explorou se os modelos de IA são conscientes e, portanto, podem sofrer – enviando mensagens abusivas. A empresa não tem planos de implantar isso para proteger as pessoas.
Olhando para este cenário, é difícil não concluir que as empresas de IA não estão a fazer o suficiente. Claro, decidir quando uma conversa deve terminar é complicado. Mas deixar que isso – ou, pior, a busca descarada de envolvimento a todo custo – permita que durem para sempre não é apenas negligência. É uma escolha.
