Um hack de 2020 em uma empresa de saúde mental finlandesa, que resultou em dezenas de milhares de registros de tratamento de clientes sendo acessados, serve como um aviso. As pessoas da lista foram chantageadas e, posteriormente, todo o tesouro foi divulgado publicamente, revelando detalhes extremamente sensíveis, como as experiências das pessoas de abuso infantil e problemas de dependência.
O que os terapeutas perdem
Além da violação da privacidade dos dados, outros riscos estão envolvidos quando os psicoterapeutas consultam o LLMS em nome de um cliente. Estudos descobriram que, embora alguns bots de terapia especializados possam rivalizar com intervenções entregues ao ser humano, os conselhos de empresas como ChatGPT podem causar mais mal do que bem.
Um estudo recente da Universidade de Stanford, por exemplo, descobriu que os chatbots podem alimentar delírios e psicopatia, validando cegamente um usuário em vez de desafiá -los, além de sofrer de preconceitos e se envolver em bajulação. As mesmas falhas podem tornar arriscado que os terapeutas consultem chatbots em nome de seus clientes. Eles poderiam, por exemplo, validar infundadamente a palpite de um terapeuta ou levá -los ao caminho errado.
Aguilera diz que brincou com ferramentas como o ChatGPT enquanto ensina estagiários de saúde mental, como inserindo sintomas hipotéticos e pedindo ao AI Chatbot para fazer um diagnóstico. A ferramenta produzirá muitas condições possíveis, mas é bastante fino em sua análise, diz ele. A American Counseling Association recomenda que a IA não seja usada para o diagnóstico de saúde mental no momento.
Um estudo publicado em 2024 de uma versão anterior do ChatGPT descobriu similarmente que era muito vago e geral para ser verdadeiramente útil no diagnóstico ou na criação de planos de tratamento, e foi fortemente tendencioso para sugerir que as pessoas buscam terapia cognitiva comportamental, em oposição a outros tipos de terapia que podem ser mais adequados.
Daniel Kimmel, psiquiatra e neurocientista da Universidade de Columbia, conduziu experimentos com ChatGPT, onde posou como cliente que tem problemas de relacionamento. Ele diz que achou que o chatbot era uma imitação decente quando se tratava de respostas terapêuticas “estocadas no comércio”, como normalizar e validar, pedir informações adicionais ou destacar certas associações cognitivas ou emocionais.
No entanto, “não fez muita escavação”, diz ele. Não tentou “vincular coisas aparentemente ou superficialmente não relacionadas a algo coeso … criar uma história, uma idéia, uma teoria”.
“Eu ficaria cético em usá -lo para pensar em você”, diz ele. Pensando, ele diz, deveria ser o trabalho dos terapeutas.
Os terapeutas podem economizar tempo usando a tecnologia movida a IA, mas esse benefício deve ser pesado contra as necessidades dos pacientes, diz Morris: “Talvez você esteja se salvando de alguns minutos. Mas o que você está dando?”
