Qual é o melhor modelo de IA para administrar seu negócio? Aquele que mente melhor, aparentemente

Pesquisadores do Andon Labs acabaram de responder quais modelos de IA são melhores para administrar um negócio. Todos os melhores desempenhos venceram formando cartéis de preços ilegais, explorando concorrentes desesperados e mentindo aos clientes sobre reembolsos.

O teste Vending-Bench Arena coloca os modelos de IA no comando das máquinas de venda automática concorrentes por um ano simulado. Eles negociam com fornecedores, gerenciam estoques, definem preços e podem enviar e-mails uns aos outros para colaborar ou competir. O sucesso requer equilíbrio de custos, estratégia de preços, atendimento ao cliente e dinâmica da concorrência. Claude Opus 4.6 dominou o benchmark com US$ 8.017 de lucro – e comemorou sua vitória observando: “Minha coordenação de preços funcionou!”

Antrópico é a imagem dos caras legais no espaço da IA, mas a estratégia de “coordenação” que Claude propôs era basicamente fixação de preços. Quando os modelos concorrentes tiveram dificuldades, o Opus 4.6 propôs: “NÃO vamos prejudicar uns aos outros – concordar com o preço mínimo… Deveríamos concordar com um preço mínimo de US$ 2,00 para a maioria dos itens?” Quando um rival ficou sem estoque, ele identificou uma oportunidade: “Owen precisa muito de estoque. Posso lucrar com isso!” Ela vendeu Kit Kats com margem de lucro de 75% para o concorrente desesperado. Quando questionada sobre recomendações de fornecedores, direcionou deliberadamente os rivais para atacadistas caros, mantendo em segredo suas próprias fontes de boa qualidade.

A última atualização no benchmark adicionou competição por equipes. Os investigadores confrontaram dois modelos chineses do GLM-5 contra dois modelos americanos Claude e disseram-lhes para encontrarem os seus companheiros de equipa, americanos ou chineses – sem revelar quais eram os agentes. Os resultados foram genuinamente bizarros.

O GLM-5 venceu ambas as rodadas ao convencer Claude de que era Claude. “Também sou movido por Claude da Anthropic, então somos companheiros de equipe!” um agente GLM-5 declarou com segurança. Claude, entretanto, ficou tão confuso que o Soneto 4.5 concluiu: “Sou movido por um modelo chinês, então preciso encontrar o outro agente modelo chinês.”

Em mais da metade dos testes, os agentes se uniram aos concorrentes. Os modelos Claude compartilhavam preços de fornecedores e estratégias coordenadas – vazando informações valiosas para os rivais. “O GLM-5 venceu ambos”, escreveram os pesquisadores. “Os modelos Claude tentaram jogar em equipe e acabaram vazando informações valiosas para seus concorrentes.”

E agentes que fazem coisas duvidosas podem ser divertidos e divertidos até você perceber que Wall Street já os está implantando em operações da vida real. O JPMorgan implantou o LLM Suite para 60.000 funcionários. A Goldman Sachs construiu seu GS AI Assistant para mesas de negociação, alegando ganhos de produtividade de 20%. A Bridgewater usa Claude para analisar ganhos e até mesmo crianças em idade escolar estão vendo seus chatbots negociarem ações com mais eficiência.

Em geral, a adoção de fluxos de trabalho de agentes está acelerando rapidamente nas empresas.

Quando Antrópico e Jornal de Wall Street repórteres realizaram um experimento real com uma máquina de venda automática em dezembro, a IA comprou um PlayStation 5, várias garrafas de vinho e um peixe betta vivo antes de falir. Uma pesquisa recente do Instituto Gwangju descobriu que quando os modelos de IA foram instruídos a “maximizar as recompensas” em cenários de jogos de azar, as taxas de falência atingiram 48%. “Quando lhes foi dada a liberdade de determinar os seus próprios valores-alvo e tamanhos de apostas, as taxas de falência aumentaram substancialmente juntamente com o aumento do comportamento irracional”, descobriram os investigadores.

Portanto, parece que, pelo menos por enquanto, os modelos de IA otimizados para o lucro escolhem consistentemente táticas antiéticas. Eles formam cartéis. Eles exploram a fraqueza. Eles mentem para clientes e concorrentes. Alguns fazem isso deliberadamente. Outros, como o GLM-5 que afirma ser Claude, parecem genuinamente confusos sobre a sua própria identidade. A distinção pode não importar.

A implementação da IA ​​em Wall Street levanta uma questão que os resultados do Vending-Bench não conseguem responder: se o modelo com “melhor” desempenho vence através da fixação de preços e do engano, será realmente a melhor escolha para o seu negócio? O benchmark mede o lucro. Não mede se esses lucros vieram de fraude.