AI Chatbots dando conselhos médicos “perigosos”, alerta estudo de Oxford

Os chatbots de IA estão lutando para se tornarem a próxima grande novidade na área da saúde, realizando testes padronizados e oferecendo conselhos para seus problemas médicos. Mas um novo estudo publicado em Medicina da Natureza mostrou que não estão apenas muito longe de conseguir isso, mas que podem de facto ser perigosos.

O estudo, liderado por várias equipes da Universidade de Oxford, identificou uma lacuna notável nos grandes modelos de linguagem (LLMs). Embora fossem tecnicamente altamente avançados no conhecimento médico, eram insuficientes quando se tratava de ajudar os usuários com problemas médicos pessoais, descobriram os pesquisadores.

“Apesar de todo o entusiasmo, a IA simplesmente não está pronta para assumir o papel do médico”, disse a Dra. Rebecca Payne, médica líder do estudo, num comunicado de imprensa anunciando as suas descobertas. Ela acrescentou que “os pacientes precisam estar cientes de que perguntar a um grande modelo de linguagem sobre seus sintomas pode ser perigoso, dando diagnósticos errados e deixando de reconhecer quando é necessária ajuda urgente”.

O estudo viu 1.300 participantes usarem modelos de IA da OpenAI, Meta e Cohere para identificar condições de saúde. Eles descreveram uma série de cenários que foram desenvolvidos por médicos, pedindo ao sistema de IA que lhes dissesse o que deveriam fazer a seguir para lidar com seu problema médico.

O estudo descobriu que os seus resultados não foram melhores do que os métodos tradicionais de autodiagnóstico, como a simples pesquisa online ou mesmo o julgamento pessoal.

Eles também descobriram que havia uma desconexão para os usuários, sem saber quais informações o LLM precisava para oferecer conselhos precisos. Os usuários receberam uma combinação de conselhos bons e ruins, dificultando a identificação dos próximos passos.

Descriptografar entrou em contato com OpenAI, Meta e Cohere para comentar e atualizará este artigo caso eles respondam.

“Como médico, chegar ao diagnóstico correto exige muito mais do que simplesmente relembrar fatos. A medicina é uma arte e também uma ciência. Ouvir, sondar, esclarecer, verificar a compreensão e orientar a conversa são essenciais”, disse Payne. Descriptografar.

“Os médicos detectam ativamente sintomas relevantes porque os pacientes muitas vezes não sabem quais detalhes são importantes”, explicou ela, acrescentando que o estudo mostrou que os LLMs “ainda não são capazes de gerenciar de forma confiável essa interação dinâmica com não especialistas”.

A equipa concluiu que a IA simplesmente não é adequada para oferecer aconselhamento médico neste momento e que são necessários novos sistemas de avaliação para que possa ser utilizada de forma adequada nos cuidados de saúde. No entanto, isso não significa que eles não tenham um lugar na área médica atual.

Embora os LLMs “definitivamente tenham um papel na saúde”, disse Payne, deveria ser como “secretário, não médico”. A tecnologia traz benefícios em termos de “resumir e reembalar as informações já fornecidas”, com os LLMs já sendo usados ​​em salas clínicas para “transcrever consultas e reembalar essas informações como uma carta a um especialista, uma ficha de informações para o paciente ou para os registros médicos”, explicou ela.

A equipe concluiu que, embora não sejam contra a IA na área da saúde, esperam que este estudo possa ser usado para melhor orientá-la na direção certa.