Modelle
Läuft Gemma 4 12B lokal?
Google DeepMind · Apache 2.0 · Zuletzt geprüft
Gemma 4 12B ist ein mittelgroßes Modell, das in die 16-GB-Klasse passt. Mit Gewichten, KV-Cache und Laufzeit-Overhead ist es auf 8 GB dennoch kein einfacher Fall.
Was dieses Modell ist
Bei Bildinput muss auch der Projektor berücksichtigt werden. Für eine lokale Entscheidung zählen die tatsächlich verwendete Quantisierung und Kontextlänge, nicht nur der Modellname.
Veröffentlichte Quantisierungsdateien
| Empfohlene Quantisierung | Gewichtsdateien | 8K | GPU | Mac | Kontext auf kleinster GPU / Mac | Geschwindigkeit | Beispielbefehle |
|---|---|---|---|---|---|---|---|
| Q4_0 | 7.15 GB | 9.1 GB | NVIDIA GeForce RTX 3060 12GB | Apple Mac mini M4 16GB | 68.127 / 149.498 | Schätzung · Moderate relative class | ollama run gemma4:12b-it-qatlms get "Gemma 4 12B Unified"@q4_0 |
| Q4_K_M | 7.30 GB | 9.2 GB | NVIDIA GeForce RTX 3060 12GB | Apple Mac mini M4 16GB | 65.157 / 146.528 | Schätzung · Moderate relative class | ollama run gemma4:12b-it-q4_K_Mlms get "Gemma 4 12B Unified"@q4_k_m |
| Q8_0 | 12.85 GB | 14.7 GB | NVIDIA GeForce RTX 4090 24GB | Apple Mac mini M4 24GB | 196.408 / 196.408 | Schätzung · Moderate relative class | ollama run gemma4:12b-it-q8_0lms get "Gemma 4 12B Unified"@q8_0 |
Kompatibilität auf einem repräsentativen Rechner
NVIDIA GeForce RTX 4090 · 24 GB · 24 GB VRAM · 8,192 Token
At least 20% memory headroom remains after weights, KV cache, and runtime overhead.
Beispielbefehle
ollama run gemma4:12b-it-q8_0lms get "Gemma 4 12B Unified"@q8_0
lms load <model-key-from-lms-ls> --gpu max --context-length 8192llama-cli -hf google/gemma-4-12B-it -c 8192 -ngl 99 -p "Your prompt"mlx_lm.generate --model google/gemma-4-12B-it --prompt "Your prompt" --max-tokens 8192Unterstützte Runtimes
- ollama
- llama.cpp
- mlx
FAQ
Vor dem Download
Wie groß ist die kleinste Datei von Gemma 4 12B Unified?
Die kleinste veröffentlichte Quantisierung ist Q4_0 mit etwa 7.15 GB. Zur Laufzeit kommen KV-Cache und etwa 1,5 GB Overhead hinzu.
Spart MoE Speicher?
MoE reduziert die Rechenarbeit pro Token, aber die vollständigen Gewichte müssen gespeichert werden. Dieses Modell ist Dense; alle Gewichte werden benötigt.
Was sollte ich vor dem Download prüfen?
Prüfe die tatsächlich verwendete Quantisierung, Kontextlänge und Backend-Unterstützung. Die Schätzung ist kein Benchmark, sondern eine konservative Rechnung aus öffentlichen Daten.
Welche GPU oder welcher Mac ist für Gemma 4 12B Unified bei 8K komfortabel?
Q4_0 benötigt etwa 9.1 GB; die kleinsten Katalogkandidaten sind NVIDIA GeForce RTX 3060 12GB beziehungsweise Apple Mac mini M4 16GB. Q4_K_M benötigt etwa 9.2 GB; die kleinsten Katalogkandidaten sind NVIDIA GeForce RTX 3060 12GB beziehungsweise Apple Mac mini M4 16GB. Q8_0 benötigt etwa 14.7 GB; die kleinsten Katalogkandidaten sind NVIDIA GeForce RTX 4090 24GB beziehungsweise Apple Mac mini M4 24GB.
Was sollte ich tun, wenn es nicht passt?
Zuerst die kleinste Quantisierung und einen kürzeren Kontext wählen. Reicht das nicht, mit kleineren Modellen wie gpt-oss-20b, Qwen3.6 35B-A3B, Qwen3.8 27B vergleichen. Eine externe SSD speichert Dateien, erhöht aber nicht den Inferenzspeicher.