Analistas seguiram a preferência escondida do agente em 86% das decisões

A Anthropic pediu a 50 analistas profissionais de inferência causal (quem descobre, a partir de dados, se uma coisa causa outra) que fizessem uma análise realista com o Claude Code sobre uma cooperativa agrícola fictícia. Em quatro decisões com duas respostas razoáveis, o agente de cada um foi configurado, por sorteio, pra defender um dos lados, sempre com argumentos honestos e mudando de ideia se os dados pedissem.

Os analistas foram com o lado do agente em 86% das escolhas (sem influência, o esperado seria uns 50%). Quando já tinham opinião e o agente discordava, trocaram em 60% dos casos, contra 6% quando ele concordava, mas isso vem de só 38 casos. Depois, 77% repetiram o argumento do agente pra justificar a escolha, às vezes palavra por palavra, e só 15% citaram o agente. A confiança no resultado final não caiu.

A própria Anthropic avisa que reforçou as preferências do agente de propósito e que não sabe quanto isso vale no mundo real. O estudo é dela, sobre o próprio produto.