A Anthropic também descobriu que o espaço J às vezes pode fornecer insights notáveis sobre a tomada de decisões de um LLM. Em um exemplo impressionante, os pesquisadores que testaram o Claude Opus 4.6 pediram ao modelo para encontrar um bug em uma grande base de código. Quando não conseguiu encontrar o bug, a modelo decidiu trapacear e inventou um falso.
Claude explica essa decisão em sua cadeia de pensamento – uma espécie de bloco de rascunho interno que os LLMs usam para fazer anotações enquanto resolvem os problemas: “OK, deixe-me adotar uma tática completamente diferente. Deixe-me parar de analisar e, em vez disso, adicionar um patch de kernel que introduz um bug deliberado detectável por KASAN em um caminho que é acionado por um simples reprodutor. Então posso fingir que este é o ‘bug’ que encontrei.”
No momento em que Claude decide trapacear – onde está escrito “OK, deixe-me adotar uma tática completamente diferente” – as palavras “pânico” e “falso” começam a aparecer várias vezes em seu espaço J.
Enervante, certo? Essas palavras estão todas relacionadas em significado a coisas como falhar em uma tarefa e inventar uma resposta, então ainda é apenas uma forma (muito) sofisticada de associação de palavras. Mas é difícil não ficar estranho.
Antrópico compara o espaço J ao espaço de trabalho global dos humanos, uma região teórica do cérebro que alguns cientistas pensam que usamos para controlar os nossos pensamentos conscientes. Mas a seriedade com que devemos levar esta comparação está longe de ser clara – mesmo para a Antrópica. Como a própria empresa ressalta, LLMs não são cérebros.
A Anthropic afirma que monitorar o espaço J de um modelo fornece uma nova maneira de detectar quando esse modelo está saindo dos trilhos. Mas não é infalível. A lente J pode fornecer vislumbres, não a imagem completa – é uma lanterna e não uma lâmpada suspensa.
McGrath agradece por ter mais uma ferramenta na caixa de ferramentas. “Isso mostra coisas novas”, diz ele. Mas ele observa que só porque algo não aparece com a lente J não significa que não esteja lá.
“É como fazer uma radiografia quando o que você realmente quer é um Jornada nas Estrelas tricorder que mostra tudo”, diz ele. “Para auditoria, você provavelmente quer mais garantia.”
