Man bekommt die Kerne ja selten zum Glühen im normalen Alltag, aber beim Testen des Modells gemma-4-E2B-it-GGUF auf einem älteren Laptop mit nur 16G RAM und ohne CUDA-fähige Grafikkarte ist das kein Problem.
Gäbe es die Speicherkrise nicht, könnte man auch heute schon ein paar nützliche Sachen mit noch besseren Modellen lokal bauen, aber es ist wie es ist.
Der Screenshot ist während Inferenz via llama.cpp, das Metal (Apples GPU-API) als Backend für Apple Silicon unterstützt.
Background:
„Gemma 4 models are designed to deliver frontier-level performance at each size, targeting deployment scenarios from mobile and edge devices (E2B, E4B) to consumer GPUs and workstations (26B A4B, 31B). They are well-suited for reasoning, agentic workflows, coding, and multimodal understanding.
The models employ a hybrid attention mechanism that interleaves local sliding window attention with full global attention, ensuring the final layer is always global. This hybrid design delivers the processing speed and low memory footprint of a lightweight model without sacrificing the deep awareness required for complex, long-context tasks. To optimize memory for long contexts, global layers feature unified Keys and Values, and apply Proportional RoPE (p-RoPE).“