VRAM-Guides · LocalLM Fit
Lokale KI-Modelle für 16 GB VRAM
Sechzehn Gigabyte sind die erste breit nutzbare Enthusiasten-Stufe. Mehrere moderne 12B-Modelle passen sauber; bei 20B bis 35B entscheiden Quantisierung und Kontext.
Berechnungsbasis: 8.192 Token, veröffentlichte Gewichte + KV-Cache + 1,5 GB Overhead. Komfortabel bedeutet mindestens 20 % Reserve. Alle Schwellenwerte und Quellen ansehen.
Komfortabel
16 GB · Komfortabel
| Modell | Empfohlene Quantisierung | Geschätzter Bedarf | Reserve und Verhältnis | Startbefehl |
|---|---|---|---|---|
| Gemma 4 12B Unified11.95B dense | Q4_K_M | 9.2 GB | +6.8 GB · 174% | ollama run gemma4:12b-it-q4_K_Mlms get "Gemma 4 12B Unified"@q4_k_m |
| Gemma 4 E4B4.5B effective / 8B stored | Q8_0 | 11.0 GB | +5.0 GB · 146% | ollama run gemma4:e4b-it-q8_0lms get "Gemma 4 E4B"@q8_0 |
| Qwen3 8B8.2B dense | Q8_0 | 11.6 GB | +4.4 GB · 138% | ollama run qwen3:8b-q8_0lms get "Qwen3 8B"@q8_0 |
| DeepSeek R1 8B8B dense | Q8_0 | 11.1 GB | +4.9 GB · 144% | ollama run deepseek-r1:8b-llama-distill-q8_0lms get "DeepSeek R1 8B"@q8_0 |
| Llama 3.2 3B3.2B dense | Q8_0 | 5.8 GB | +10.2 GB · 274% | ollama run llama3.2:3b-instruct-q8_0lms get "Llama 3.2 3B"@q8_0 |
| Phi-4 Mini3.8B dense | Q8_0 | 6.7 GB | +9.3 GB · 240% | ollama run phi4-mini:3.8b-q8_0lms get "Phi-4 Mini"@q8_0 |
| Mistral 7B7.2B dense | Q8_0 | 10.3 GB | +5.7 GB · 156% | ollama run mistral:7b-instruct-v0.3-q8_0lms get "Mistral 7B"@q8_0 |
| Gemma 3 4B4B dense | Q8_0 | 7.6 GB | +8.4 GB · 209% | ollama run gemma3:4b-it-q8_0lms get "Gemma 3 4B"@q8_0 |
Knapp
Knapp
| Modell | Empfohlene Quantisierung | Geschätzter Bedarf | Reserve und Verhältnis | Startbefehl |
|---|---|---|---|---|
| gpt-oss-20b21B total / 3.6B active | MXFP4 | 13.8 GB | +2.2 GB · 116% | ollama run gpt-oss:20blms get "gpt-oss-20b"@mxfp4 |
Quantisierungsempfindlichkeit
Wie die Quantisierungen bei 16 GB abschneiden
Die veröffentlichten Quantisierungen der fünf wichtigsten Modelle werden mit derselben 8K-Basis berechnet. „Passt nicht“ ist keine Qualitätsbewertung.
| Modell | Empfohlene Quantisierung | Geschätzter Bedarf | Passung | Reserve und Verhältnis | Startbefehl |
|---|---|---|---|---|---|
| Qwen3.8 27B | Q8_0 | 32.0 GB | Passt nicht | -16.0 GB | ollama run qwen3.8:27b-q8_0lms get "Qwen3.8 27B"@q8_0 |
| Qwen3.8 27B | Q4_K_M | 19.4 GB | Passt nicht | -3.4 GB | ollama run qwen3.8:27b-q4_K_Mlms get "Qwen3.8 27B"@q4_k_m |
| Gemma 4 12B Unified | Q8_0 | 14.7 GB | Knapp | +1.3 GB | ollama run gemma4:12b-it-q8_0lms get "Gemma 4 12B Unified"@q8_0 |
| Gemma 4 12B Unified | Q4_K_M | 9.2 GB | Komfortabel | +6.8 GB | ollama run gemma4:12b-it-q4_K_Mlms get "Gemma 4 12B Unified"@q4_k_m |
| Gemma 4 12B Unified | Q4_0 | 9.1 GB | Komfortabel | +6.9 GB | ollama run gemma4:12b-it-qatlms get "Gemma 4 12B Unified"@q4_0 |
| Gemma 4 E4B | Q8_0 | 11.0 GB | Komfortabel | +5.0 GB | ollama run gemma4:e4b-it-q8_0lms get "Gemma 4 E4B"@q8_0 |
| Gemma 4 E4B | Q4_K_M | 7.7 GB | Komfortabel | +8.3 GB | ollama run gemma4:e4b-it-q4_K_Mlms get "Gemma 4 E4B"@q4_k_m |
| Gemma 4 E4B | Q4_0 | 7.9 GB | Komfortabel | +8.1 GB | ollama run gemma4:e4b-it-qatlms get "Gemma 4 E4B"@q4_0 |
| gpt-oss-20b | MXFP4 | 13.8 GB | Knapp | +2.2 GB | ollama run gpt-oss:20blms get "gpt-oss-20b"@mxfp4 |
| Qwen3.6 35B-A3B | Q8_0 | 39.5 GB | Passt nicht | -23.5 GB | ollama run qwen3.6:35b-a3b-q8_0lms get "Qwen3.6 35B-A3B"@q8_0 |
| Qwen3.6 35B-A3B | Q4_K_M | 24.7 GB | Passt nicht | -8.7 GB | ollama run qwen3.6:35b-a3b-q4_K_Mlms get "Qwen3.6 35B-A3B"@q4_k_m |
| Qwen3.6 35B-A3B | MXFP4 | 24.3 GB | Passt nicht | -8.3 GB | ollama run qwen3.6:35b-a3blms get "Qwen3.6 35B-A3B"@mxfp4 |
Günstige Setup-Upgrades
Zubehör, das den Engpass vor einem GPU-Upgrade löst
Dies sind allgemeine Amazon-Suchkategorien, keine Live-Aussagen zu Produkten oder Preisen. Kompatibilität vor dem Kauf mit dem exakten Rechner prüfen.
Externe NVMe-SSD für Modelldateien
Lagert große GGUF- und MLX-Dateien außerhalb der Systemplatte aus. Schnellerer Speicher verkürzt Ladezeiten, vergrößert aber nicht den Arbeitsspeicher für die Inferenz.
Aktuelle Angebote auf Amazon suchenDesktop-RAM-Upgrade-Kit
Hilft beim CPU-Offload von MoE-Modellen und hält das Betriebssystem aus dem VRAM. Speichertyp, Slots, Maximalkapazität und geprüfte Teilenummern des Mainboards beachten.
Aktuelle Angebote auf Amazon suchenGPU-Stützhalterung
Eine günstige mechanische Entlastung für schwere Drei-Slot-Karten. Freiraum, Bauhöhe und mögliche Kollisionen mit Lüftern oder Seitenteilen prüfen.
Aktuelle Angebote auf Amazon suchenAs an Amazon Associate I earn from qualifying purchases. Als Amazon-Associate verdiene ich an qualifizierten Käufen. Die Links sind gesponserte Suchlinks; der Kaufpreis ändert sich dadurch nicht. Affiliate-Hinweis.
FAQ
Fragen zu dieser VRAM-Stufe.
Welche Modelle laufen mit 16 GB VRAM komfortabel?
Bei 8.192 Token Kontext erreichen Gemma 4 12B Unified, Gemma 4 E4B, Qwen3 8B, DeepSeek R1 8B, Llama 3.2 3B, Phi-4 Mini, Mistral 7B, Gemma 3 4B die 20-%-Komfortschwelle.
Warum sind manche Modelle bei 16 GB nur knapp?
Knapp bedeutet: Der geschätzte Bedarf liegt über der Kapazität, aber unter 120 % davon. Aktuell betrifft das gpt-oss-20b. Schließe andere GPU-Anwendungen und verkürze den Kontext.
Welche Kontextlänge und Speicherformel gelten?
Die Tabelle nutzt 8.192 Token, veröffentlichte Gewichte, einen FP16-KV-Cache und 1,5 GB Laufzeit-Overhead. Längerer Kontext erhöht den Bedarf.
Wie verändert die Quantisierung das Ergebnis bei 16 GB?
Bei gleichem 8K-Kontext kann eine niedrigere Bitbreite den Bedarf senken und ein Modell von „passt nicht“ zu „knapp“ oder „komfortabel“ verschieben. Die Quantisierungstabelle berechnet die veröffentlichten Dateien der fünf wichtigsten Modelle einzeln; sie garantiert nicht dieselbe Qualität oder Backend-Unterstützung.
Was tun, wenn das gewünschte Modell nicht in 16 GB passt?
Zuerst die kleinste veröffentlichte Quantisierung und einen kürzeren Kontext testen. Reicht das nicht, ein kleineres Modell, eine GPU mit mehr VRAM oder einen Mac mit mehr Unified Memory vergleichen. Eine externe SSD speichert Modelldateien, erhöht aber nicht den VRAM.