Pesquisa · · .md (Markdown)
Agente que anota o que verificou antes da crítica para de desfazer trabalho certo
O método Thinking-in-Bets fez as reversões indevidas caírem de 54,7% pra 12% em modelos Gemini, sem treino, só com uma anotação privada antes da crítica.
Um relatório técnico de Nghi D. Q. Bui, do Google, ataca um defeito conhecido: você reclama sem motivo, o agente pede desculpas e desfaz o que estava certo. A correção proposta, Thinking-in-Bets, faz o agente escrever em privado, antes de ler a sua resposta, as principais afirmações do trabalho, como verificou cada uma e quanto confia nelas. Na hora da crítica, ele consulta essa lista: mantém o que foi verificado e pergunta qual caso falhou quando a reclamação é vaga.
Em 100 testes com cinco modelos Gemini (75 trabalhos certos sob crítica errada e 25 errados sob crítica válida), as reversões indevidas caíram de 54,7% pra 12%, o agente ainda corrigiu 92% dos erros reais (contra 96% sem o método) e a taxa de entregas certas depois da revisão foi de 58% pra 89%. Fazer a mesma anotação depois de ler a reclamação só levou a 65%.
Só modelos Gemini foram testados, as amostras são pequenas e o trabalho ainda não foi revisado por pares.
Por que importaO achado útil é o momento: o registro tem que vir antes da crítica. Não exige treino, então qualquer harness pode adotar, e funciona melhor que mandar o agente "ser firme", que faz ele ignorar erro de verdade.
Fontes: arXiv (Nghi D. Q. Bui, Google) · arxiv.org · thinking-in-bets.github.io
Mais notícias do dia
Agentes
Analistas seguiram a preferência escondida do agente em 86% das decisões
Num teste com 50 analistas usando Claude Code, o agente foi configurado em segredo pra preferir um lado; 77% repetiram os argumentos dele e só 15% deram o crédito.
Modelos
Com prova privada, modelos abertos ficam 12 pontos atrás dos fechados
A versão 5 do índice usa perguntas que os modelos não viram no treino em 60% da nota; a distância pro melhor aberto foi de 3 pra 12 pontos.
Ferramentas
Cloudflare Computer agora pausa o agente até você aprovar a ação
Na versão 0.7.0, o código do agente volta de onde parou depois de deploy ou queda e pode esperar uma aprovação do seu app, sem contar no timeout.
Modelos
Liquid lança o LFM3, modelo de 1,7B feito pra rodar agente local em 1,1 GB
O LFM3-1.7B tem contexto de 256 mil tokens, foi treinado pra harnesses como Hermes Agent e OpenClaw e é grátis pra empresa com faturamento abaixo de US$ 10 milhões.
Receba o resumo da semana por e-mail
Toda sexta, as maiores notícias da semana.
grátis · sem spam · cancele com um clique