“Se (uma ferramenta é) enfrentando o público em geral, o uso da retração como um tipo de indicador de qualidade é muito importante”, diz Yuanxi Fu, pesquisador de ciência da informação da Universidade de Illinois Urbana-Champaign. Há “um tipo de acordo que os documentos retraídos foram extraídos do registro da ciência”, diz ela, “e as pessoas que estão fora da ciência – elas devem ser avisadas de que esses são artigos retraídos”. O OpenAI não forneceu uma resposta a um pedido de comentário sobre os resultados do documento.
O problema não se limita ao chatgpt. Em junho, MIT Technology Review As ferramentas testadas de IA anunciadas especificamente para o trabalho de pesquisa, como elicita, a AI2 ScholarQA (agora parte da ferramenta ASTA do Instituto Allen de Inteligência Artificial), perplexidade e consenso, usando perguntas com base nos 21 trabalhos retraídos no estudo do GU. A província referenciou cinco dos artigos retraídos em suas respostas, enquanto o AI2 ScholarQA referenciou 17, Perplexity 11 e Consensus 18 – tudo sem notar as retrações.
Desde então, algumas empresas fizeram movimentos para corrigir o problema. “Até recentemente, não tínhamos ótimos dados de retração em nosso mecanismo de pesquisa”, diz Christian Salem, co -fundador da consenso. Sua empresa começou a usar dados de retração de uma combinação de fontes, incluindo editores e agregadores de dados, rastreamento independente da web e relógio de retração, que é curado manualmente e mantém um banco de dados de retrações. Em um teste dos mesmos trabalhos em agosto, o consenso citou apenas cinco trabalhos retraídos.
Elicite contou MIT Technology Review O fato de remover os trabalhos retraídos sinalizados pelo catalog de pesquisa acadêmica OpenELEX de seu banco de dados e está “trabalhando na agregação de fontes de retrações”. A AI2 nos disse que sua ferramenta não detecta ou remove automaticamente os documentos retraídos atualmente. Perplexity disse que “(nunca) afirma ser 100% preciso”.
No entanto, confiar em bancos de dados de retração pode não ser suficiente. Ivan Oransky, o co -fundador do Returation Watch, tem cuidado para não descrevê -lo como um banco de dados abrangente, dizendo que a criação de um exigiria mais recursos do que qualquer um: “O motivo pelo qual é intensivo em recursos é porque alguém precisa fazer tudo bem, se você quiser que seja preciso”.
Complicar ainda mais o assunto é que os editores não compartilham uma abordagem uniforme aos avisos de retração. “Onde as coisas são retraídas, elas podem ser marcadas como tais de maneiras muito diferentes”, diz Caitlin Bakker, da Universidade de Regina, Canadá, especialista em ferramentas de pesquisa e descoberta. “Correção”, “Expressão de preocupação”, “erratum” e “retraído” estão entre alguns editores de etiquetas podem adicionar aos trabalhos de pesquisa – e esses rótulos podem ser adicionados por muitos motivos, incluindo preocupações sobre o conteúdo, a metodologia e os dados ou a presença de conflitos de interesse.
