---
title: "llama.cpp passa a ler o prompt do Gemma 4 E2B quase 3x mais rápido"
publication: "Need More Context"
type: notícia
date: 2026-11-04
fact_date: 2026-11-03
category: modelos
language: pt-BR
url: https://needmorecontext.com/noticias/llama-cpp-gemma-4-e2b-le-prompt-2-8x-mais-rapido/
markdown: https://needmorecontext.com/noticias/llama-cpp-gemma-4-e2b-le-prompt-2-8x-mais-rapido.md
summary: "Um PR aceito corta conta inútil nas camadas finais do E2B e do E4B. Num M4 Pro, o E2B de 3,1 GB foi de 1.614 pra 4.603 tokens por segundo na leitura do prompt."
sources:
  - https://github.com/ggml-org/llama.cpp/pull/31356
---

# llama.cpp passa a ler o prompt do Gemma 4 E2B quase 3x mais rápido

*Need More Context, notícia de 4 de novembro de 2026. Modelos.*

> Um PR aceito corta conta inútil nas camadas finais do E2B e do E4B. Num M4 Pro, o E2B de 3,1 GB foi de 1.614 pra 4.603 tokens por segundo na leitura do prompt.

O llama.cpp juntou um PR que para de calcular, na leitura do prompt, as camadas do Gemma 4 E2B e E4B que reaproveitam o cache de camadas anteriores e não gravam nada nele. A saída fica idêntica, segundo os testes do autor com texto, imagem, áudio e prompts de 16 mil e 32 mil tokens.

Os ganhos medidos no PR: num M4 Pro com Metal, o E2B em Q4_0 (3,1 GB) foi de 1.614 pra 4.603 tokens por segundo no prompt de 512 tokens; o E4B (4,8 GB), de 806 pra 1.319. Num Snapdragon do Galaxy S26+, o E2B passou de 2.303 pra 5.099. A velocidade de geração não muda, e o Gemma 4 26B não ganha nada. A otimização vale com o cache KV unificado; com o cache dividido, fica desligada.

**Por que importa:** Leitura de prompt é o gargalo de agente local: cada turno despeja contexto, resultado de ferramenta e arquivo. Um modelo de 3 GB que lê quase 3x mais rápido deixa agente no notebook ou no celular menos arrastado.

💡 Atualize o llama.cpp pra uma build posterior a 03/11 e rode `llama-bench` com o seu modelo E2B ou E4B pra comparar com a versão antiga.

**Fonte:** llama.cpp (GitHub), [github.com](https://github.com/ggml-org/llama.cpp/pull/31356)

---

Resumo da semana por e-mail: https://needmorecontext.beehiiv.com/subscribe
Todas as notícias: https://needmorecontext.com/noticias/ · RSS: https://needmorecontext.com/noticias/feed.xml · JSON Feed: https://needmorecontext.com/noticias/feed.json