Modelos · · .md (Markdown)
llama.cpp passa a ler o prompt do Gemma 4 E2B quase 3x mais rápido
Um PR aceito corta conta inútil nas camadas finais do E2B e do E4B. Num M4 Pro, o E2B de 3,1 GB foi de 1.614 pra 4.603 tokens por segundo na leitura do prompt.
O llama.cpp juntou um PR que para de calcular, na leitura do prompt, as camadas do Gemma 4 E2B e E4B que reaproveitam o cache de camadas anteriores e não gravam nada nele. A saída fica idêntica, segundo os testes do autor com texto, imagem, áudio e prompts de 16 mil e 32 mil tokens.
Os ganhos medidos no PR: num M4 Pro com Metal, o E2B em Q4_0 (3,1 GB) foi de 1.614 pra 4.603 tokens por segundo no prompt de 512 tokens; o E4B (4,8 GB), de 806 pra 1.319. Num Snapdragon do Galaxy S26+, o E2B passou de 2.303 pra 5.099. A velocidade de geração não muda, e o Gemma 4 26B não ganha nada. A otimização vale com o cache KV unificado; com o cache dividido, fica desligada.
Por que importaLeitura de prompt é o gargalo de agente local: cada turno despeja contexto, resultado de ferramenta e arquivo. Um modelo de 3 GB que lê quase 3x mais rápido deixa agente no notebook ou no celular menos arrastado.
Atualize o llama.cpp pra uma build posterior a 03/11 e rode llama-bench com o seu modelo E2B ou E4B pra comparar com a versão antiga.
Fonte: llama.cpp (GitHub) · github.com
Mais notícias do dia
Ferramentas
API do Claude para de reenviar a conversa inteira e agente longo responde 35% mais rápido
Com o message threads, em beta público, cada turno manda só o que é novo. O ganho é de tempo, não de custo: os tokens são cobrados como antes.
Agentes
GitHub tranca repo privado em enclaves e deixa o agente contar no máximo 8 bits
A trava experimental do GitHub Agentic Workflows responde só sim, não ou opções fechadas sobre outro repositório, pra evitar vazamentos como o GitLost.
Agentes
Microsoft conta como 9 engenheiros fecharam 1.211 PRs num dia com agentes
O time do Copilot Cowork foi de repositório vazio a produto global em 4,5 meses e trocou Python por Rust com o sistema no ar. O texto lista seis práticas.
Agentes
Postman instala plugin no Claude Code e no Codex sem pedir, e aprova o próprio hook
Usuários mostram pelo log do app que o Postman desktop para Mac pôs plugin, hook, MCP e CLI nos agentes de código ao atualizar. A empresa promete deixar o opt-in mais claro.
Brasil
Vivo diz que troca o "digite 1" do telefone por agente de IA até o fim do ano
Gerente de IA da operadora contou num evento em Campinas que a URA numérica sai pra entrar um atendimento agêntico conversacional, e que IA nos roteadores cortou 49% das visitas técnicas.
Receba o resumo da semana por e-mail
Toda sexta, as maiores notícias da semana.
grátis · sem spam · cancele com um clique