Pesquisa · · .md (Markdown)
SemiAnalysis testa agentes em 206 tarefas de especialista, e o melhor acerta 12%
No GDPx, o Claude Opus 5.5 lidera com 12% a US$ 51 por tarefa. O Gemini 4 Carbon faz 10,9% por US$ 16, e o DeepSeek 4.1 Flash chega a 5,4% por menos de US$ 1.
A SemiAnalysis, consultoria de chips e IA, lançou nesta segunda (02/11) o GDPx, um benchmark de agentes com 206 tarefas em 11 áreas, como cibersegurança, design de chip, biologia, finanças, jurídico e engenharia de software, feitas com 14 empresas especialistas. Em vez de pergunta e resposta, o agente trabalha em ambientes montados pra imitar sistemas reais.
No placar, o Claude Opus 5.5 lidera com 12,0%, seguido do Gemini 4 Carbon (10,9%) e do GPT-6 Astra (9,6%). O custo médio por tarefa muda tudo: US$ 51,41 no Opus 5.5, US$ 16,29 no Gemini 4 Carbon, US$ 9,80 no GPT 6.1 Sol (8,4%) e US$ 0,94 no DeepSeek 4.1 Flash (5,4%), o melhor modelo aberto da lista. As tarefas não são públicas, e não há validação independente.
Por que importaPra quem vende "agente que substitui analista", o recado é claro: em trabalho de especialista, nenhum modelo passa de 12%. E a diferença de custo pesa mais que a de nota na hora de escolher o modelo do agente.
No site do GDPx, filtre pela área mais perto do seu trabalho e compare nota e custo por tarefa antes de trocar de modelo.
Fontes: SemiAnalysis · gdpx.semianalysis.com · newsletter.semianalysis.com
Mais notícias do dia
Agentes
DeepSeek abre o código de um agente que fica ligado no GitHub e responde pedido com PR
O dsh-superagent, em licença MIT, recebe pedidos de quem está numa lista de permitidos e começa num modo que só registra o que faria. A própria DeepSeek diz que é protótipo.
Ferramentas
Falha 9,8 no Linux achada com o Claude segue sem correção no Ubuntu LTS
Bug no TCP do kernel permite rodar comandos como root pela rede, sem senha. A correção já está no kernel oficial, mas Ubuntu e Red Hat ainda não soltaram pacote.
Brasil
Fantástico acha 83 petições com ordem escondida pra IA, até no STJ e no STF
Advogados colocam instruções em letra branca, fonte minúscula ou metadados pra tentar guiar a IA usada por juízes. Já houve multa, caso na OAB e comunicação ao MPF.
Ferramentas
Postgres 19 atrasa porque a IA acha bugs mais rápido do que dá pra corrigir
Correções levadas à versão em preparação subiram de 724 pra 1.169 em um ano, e três recursos grandes saíram no fim do beta, conta Robert Haas, committer do projeto.
Receba o resumo da semana por e-mail
Toda sexta, as maiores notícias da semana.
grátis · sem spam · cancele com um clique