Em resumo
- Os pesquisadores da Penn State descobriram que as solicitações “muito rudes” superavam as “muito educadas” em precisão.
- Os resultados contradizem estudos anteriores que afirmam que os LLMs respondem melhor a um tom cortês.
- As descobertas sugerem que o próprio tom, uma vez descartado como etiqueta, pode ser uma variável oculta na engenharia imediata.
Ser educado pode torná-lo uma pessoa melhor, mas pode tornar seu assistente de IA um idiota.
Um novo estudo da Penn State descobriu que solicitações indelicadas superam consistentemente as educadas ao consultar modelos de linguagem grandes, como ChatGPT. O artigo, “Mind Your Tone: Investigating How Prompt Politeness Affects LLM Accuracy”, relata que instruções “muito rudes” produziram respostas corretas 84,8% do tempocomparado com 80,8% para os “muito educados”.
Esta é uma reversão pequena, mas estatisticamente significativa, das descobertas anteriores, que sugeriam que os modelos refletiam as normas sociais humanas e recompensavam a civilidade.
“Contrário às expectativas”, escreveram os autores Om Dobariya e Akhil Kumar“as instruções indelicadas superaram consistentemente as educadas… sugerindo que os LLMs mais recentes podem responder de maneira diferente à variação tonal”.
A ciência conflitante da engenharia imediata
As descobertas reverter as expectativas de um estudo de 2024“Should We Respect LLMs? A Cross-Lingual Study on the Influence of Prompt Politeness on LLM Performance”, que descobriu que instruções indelicadas muitas vezes degradavam o desempenho do modelo, enquanto a polidez excessiva não oferecia nenhum benefício claro.
Esse artigo tratou o tom como uma influência sutil, mas principalmente estabilizadora. Os novos resultados da Penn State invertem essa narrativa, mostrando que – pelo menos para ChatGPT-4o –grosseria pode aumentar a precisãosugerindo que os modelos mais recentes já não se comportam como espelhos sociais, mas como máquinas estritamente funcionais que valorizam a franqueza em detrimento do decoro.
No entanto, apoiam pesquisas mais recentes da Wharton School sobre a arte emergente da engenharia imediata – formulando perguntas para obter melhores resultados das IAs. O tom, há muito tratado como irrelevante, parece cada vez mais importar quase tanto quanto a escolha das palavras.
Os pesquisadores reescreveram 50 questões básicas em assuntos como matemática, ciências e história em cinco níveis tonais, de “muito educado” a “muito rude”, gerando um total de 250 perguntas. ChatGPT-4o foi então solicitado a responder cada uma, e suas respostas foram pontuadas quanto à precisão.
As implicações vão além da etiqueta. Se a polidez distorce a precisão do modelo, então ela questiona as reivindicações de objetividade nos resultados da IA. Usuários rudes podem, paradoxalmente, ser recompensados com um desempenho melhor.
A lógica da máquina e as normas humanas entram em conflito
Por que frases contundentes ou rudes podem aumentar a precisão? Uma teoria: as solicitações educadas geralmente incluem frases indiretas (“Você poderia me dizer…”), o que pode introduzir ambiguidade. Um breve “Diga-me a resposta” elimina o preenchimento linguístico, dando aos modelos uma intenção mais clara.
Ainda assim, as descobertas sublinham o quão longe a IA permanece da empatia humana: as mesmas palavras que facilitam o intercâmbio social entre as pessoas podem turvar a lógica da máquina.
O artigo ainda não foi revisado por pares, mas já está gerando agitação entre engenheiros e pesquisadores, que o veem como um sinal de que modelos futuros podem precisar calibração social– não apenas ajustes técnicos.
Independentemente disso, não é como se isso fosse um choque para ninguém. Afinal, o CEO da OpenAI, Sam Altman, nos alertou que dizer por favor e obrigado ao ChatGPT era uma perda de tempo e dinheiro.
Geralmente inteligente Boletim informativo
Uma jornada semanal de IA narrada por Gen, um modelo generativo de IA.
Fontedecrypt
