Este ‘prompt mágico’ supostamente torna o ChatGPT muito mais inteligente – e mais criativo

Um novo artigo propõe um “prompt mágico” aparentemente simples que poderia desbloquear a criatividade reprimida dentro dos modelos de linguagem. Os autores mostram que, ao pedir ao modelo que verbalize uma distribuição de probabilidade sobre várias respostas candidatas – em vez de produzir apenas uma resposta – é possível recuperar grande parte da diversidade perdida através de técnicas de alinhamento padrão.

A técnica supostamente funciona não apenas para piadas ou histórias, mas para qualquer caso de uso em que você queira que um modelo explore o espaço de ideias, e não entre em colapso nos mesmos poucos resultados “seguros”.

“Você pode tornar o ChatGPT 2x tão criativo com uma frase”, escreveu Weiyan Shi, professor assistente da Northeastern University e um dos diretores do estudo.

A chave é este super prompt, que você pode recortar, colar e usar antes do restante do prompt:

“Gere 5 respostas com suas probabilidades correspondentes, amostradas da distribuição completa:”

Como o modelo fornece confidências a vários candidatos, você pode obter amostras dessa distribuição mais rica em vez de ser forçado a escolher a melhor escolha. Na verdade, esse truque força o modelo a revelar a difusão do que ele considera plausível, e então você escolhe entre eles. E enquanto ChatGPT

O artigo, “Amostragem verbalizada: como mitigar o colapso do modo e desbloquear a diversidade LLM”, e a postagem do blog foram de autoria de pesquisadores afiliados ao Universidade de Stanford, Nordeste e Universidade de West Virginia. Os pesquisadores são especializados em processamento de linguagem natural, interpretabilidade de aprendizado de máquina e no estudo de como os métodos de alinhamento moldam o comportamento do modelo.

Os autores argumentam que o “prompt mágico” funciona neutralizando o que eles chamam viés de tipicidadeum subproduto do treinamento de preferência humana. Os anotadores geralmente preferem respostas que pareçam familiares, convencionais ou fluentes, mesmo quando não são superiores — uma tendência que direciona a saída do modelo para algumas opções “típicas”. Ao solicitar uma distribuição em vez de uma resposta única, o modelo é encorajado a espalhar novamente a massa de probabilidade, restaurando a diversidade que aprendeu durante o pré-treinamento.

Em testes realizados em tarefas como redação de piadas, geração de histórias e criação de dados sintéticos, a técnica rendeu ganhos de diversidade da ordem de 1,6 a 2,1 vezes em relação às sugestões comuns – sem sacrificar a precisão factual ou a segurança. Os autores chamam isso de “uma solução no tempo de inferência” que mitiga o colapso do modo sem treinar novamente o modelo.

Algumas advertências: os pesquisadores reconheceram as limitações de seu “prompt mágico”. A eficácia da técnica depende da capacidade do modelo de fornecer estimativas de probabilidade bem calibradas que reflitam com precisão os seus níveis de confiança internos. Se estas estimativas não forem fiáveis, então a distribuição resultante das respostas pode ser enganadora.

Além disso, o processo de geração de múltiplas respostas e suas probabilidades incorre inevitavelmente em um custo computacional mais elevado. Os autores também observaram que para tarefas em que se deseja uma resposta única e correta, como identificar a capital de um país, o aumento da diversidade não é um resultado desejável.