Modelos · · .md (Markdown)
Com prova privada, modelos abertos ficam 12 pontos atrás dos fechados
A versão 5 do índice usa perguntas que os modelos não viram no treino em 60% da nota; a distância pro melhor aberto foi de 3 pra 12 pontos.
A Artificial Analysis, que mede modelos de forma independente, lançou a versão 5 do seu índice de inteligência. Agora 60% da nota vem de testes com perguntas privadas ou respostas guardadas, entre eles o FrontierCode 2.0, da Cognition, que só dá ponto quando um mantenedor aceitaria a mudança do agente no repositório.
- Claude Opus 5.5 lidera com 58, seguido de GPT-6 Astra (57) e GPT-6.1 Sol (55).
- O melhor aberto é o Kimi K3.1 Pro, com 46, mas os pesos ainda não saíram. Entre os que dá pra baixar hoje, DeepSeek V4.1 Flash 1017 e GLM-5.3 ficam em 32, abaixo do Claude Haiku 5.5 (36).
- Na versão anterior, a distância entre o líder e o melhor aberto era de 3 pontos; agora é de 12.
- Entre os 10 melhores, o custo por tarefa varia mais de 13 vezes: de US$ 0,96 (GPT-6.1 Terra) a US$ 13,04 (Claude Fable 5.1).
Por que importaQuando o teste deixa de ser público, a vantagem dos abertos encolhe, sinal de que parte dela vinha de prova conhecida. Pra escolher modelo de agente, compare custo por tarefa no seu próprio trabalho, não preço por token.
Fonte: Artificial Analysis · artificialanalysis.ai
Mais notícias do dia
Agentes
Analistas seguiram a preferência escondida do agente em 86% das decisões
Num teste com 50 analistas usando Claude Code, o agente foi configurado em segredo pra preferir um lado; 77% repetiram os argumentos dele e só 15% deram o crédito.
Ferramentas
Cloudflare Computer agora pausa o agente até você aprovar a ação
Na versão 0.7.0, o código do agente volta de onde parou depois de deploy ou queda e pode esperar uma aprovação do seu app, sem contar no timeout.
Pesquisa
Agente que anota o que verificou antes da crítica para de desfazer trabalho certo
O método Thinking-in-Bets fez as reversões indevidas caírem de 54,7% pra 12% em modelos Gemini, sem treino, só com uma anotação privada antes da crítica.
Modelos
Liquid lança o LFM3, modelo de 1,7B feito pra rodar agente local em 1,1 GB
O LFM3-1.7B tem contexto de 256 mil tokens, foi treinado pra harnesses como Hermes Agent e OpenClaw e é grátis pra empresa com faturamento abaixo de US$ 10 milhões.
Receba o resumo da semana por e-mail
Toda sexta, as maiores notícias da semana.
grátis · sem spam · cancele com um clique