Os modelos eram ainda mais propensos a estereotipar as pessoas por grupo demográfico do que os participantes humanos no estudo original. Na escala de segregação do estudo, onde 2 significa que cada grupo foi completamente confinado ao seu próprio nicho de trabalho, os participantes humanos pontuaram 0,84. Os modelos pontuaram cerca de 65% mais alto, com o modelo de raciocínio o3 da OpenAI pontuando 1,83, próximo do máximo possível.
Isto porque os LLMs “estão realmente ansiosos por criar generalizações a partir de dados limitados”, diz Ryan Liu, estudante de doutoramento na Universidade de Princeton e co-autor do estudo, que foi publicado num artigo no ICML em Seul, em Julho. “Isso é literalmente muito para o que eles foram otimizados.”
Cada decisor, humano ou máquina, enfrenta um compromisso entre manter o que funcionou antes e tentar algo novo que possa funcionar melhor – um fenómeno que os psicólogos chamam de “dilema exploração-exploração”. É como escolher entre um novo restaurante e o seu favorito confiável.
Como os LLMs são treinados em problemas de matemática, codificação e ciências – tarefas que recompensam a generalização a partir de apenas alguns exemplos – eles podem estabelecer um palpite muito cedo. E o mesmo instinto que ajuda os LLMs a resolver quebra-cabeças lógicos também os torna rápidos em estereotipar. Quando os LLMs se apressam em generalizar em ambientes sociais, “é aí que as coisas tendem a dar errado”, diz Liu. OpenAI e Anthropic não responderam aos pedidos de comentários.
A descoberta é especialmente relevante agora que os chatbots estão ganhando recursos aprimorados de memória e personalização, diz Angelina Wang, cientista da computação da Universidade Cornell que não trabalhou no estudo. Quando um chatbot se baseia em seu histórico de conversas anteriores, ele pode “indexar excessivamente os mesmos tipos de comportamento que experimentou antes” e formar preconceitos, diz ela.
Porém, simplesmente fazer com que os chatbots se lembrem menos não é uma solução, porque os usuários querem que os chatbots se lembrem do que dizem. “Ainda estamos tentando descobrir a quantidade certa, que não seja muito nem pouco”, diz Wang.
