モデル
Qwen3.6 35B-A3Bをローカルで動かすには
Alibaba Cloud · Apache 2.0 · 最終確認
Qwen3.6 35B-A3Bは、35Bの重みを保存しつつ約3Bの経路を活性化するMoEモデルです。容量は35B級ですが、生成速度の目安はアクティブパラメータ側に寄ります。
このモデルについて
画像や動画入力を使うGGUFでは、マルチモーダル投影ファイルも必要です。エキスパートをRAMへ逃がせても、VRAMに全部載る場合より遅くなります。
Qwen reports 35B total parameters and 3B activated parameters, with 8 routed experts plus 1 shared expert per token.
公開量子化ファイル
| 推奨量子化 | 重みファイル | 8K | GPU | Mac | 最小GPU／Macでのコンテキスト | 速度推定 | 実行コマンド例 |
|---|---|---|---|---|---|---|---|
| MXFP4 | 22.61 GB | 24.3 GB | NVIDIA GeForce RTX 5090 32GB | Apple Mac mini M4 Pro 48GB | 262,144 / 262,144 | 推定 · Fast relative class | ollama run qwen3.6:35b-a3blms get "Qwen3.6 35B-A3B"@mxfp4 |
| Q4_K_M | 23.03 GB | 24.7 GB | NVIDIA GeForce RTX 5090 32GB | Apple Mac mini M4 Pro 48GB | 262,144 / 262,144 | 推定 · Fast relative class | ollama run qwen3.6:35b-a3b-q4_K_Mlms get "Qwen3.6 35B-A3B"@q4_k_m |
| Q8_0 | 37.80 GB | 39.5 GB | NVIDIA RTX 6000 Ada 48GB | Apple Mac mini M4 Pro 48GB | 262,144 / 262,144 | 推定 · Fast relative class | ollama run qwen3.6:35b-a3b-q8_0lms get "Qwen3.6 35B-A3B"@q8_0 |
代表的なマシンでの互換性
NVIDIA GeForce RTX 4090 · 24 GB · 24 GB VRAM · 8,192 トークン
The estimate is below the minimum memory requirement. Choose a smaller model, a lower-bit quantization, or a machine with more usable memory.
実行コマンド例
ollama run qwen3.6:35b-a3blms get "Qwen3.6 35B-A3B"@mxfp4
lms load <model-key-from-lms-ls> --gpu max --context-length 8192llama-cli -hf Qwen/Qwen3.6-35B-A3B -c 8192 -ngl 99 -p "Your prompt"mlx_lm.generate --model Qwen/Qwen3.6-35B-A3B --prompt "Your prompt" --max-tokens 8192対応ランタイム
- ollama
- llama.cpp
- mlx
- vllm
FAQ
ダウンロード前に
Qwen3.6 35B-A3Bの最小ファイルサイズは？
公開されている最小の量子化はMXFP4で、約22.61GBです。実行時にはKVキャッシュと約1.5GBのオーバーヘッドも必要です。
MoEはメモリを節約しますか？
MoEは1トークンあたりの計算量を減らせますが、重み全体は保存する必要があります。このモデルはエキスパートをRAMへ逃がせますが、速度は低下します。
購入前に何を確認すべき？
実際に使う量子化、コンテキスト長、バックエンドの対応状況を確認してください。このページの推定はベンチマークではなく、公開データに基づく保守的な計算です。
Qwen3.6 35B-A3Bを8Kで快適に動かせるGPU／Macは？
MXFP4は約24.3GB必要で、最小候補はNVIDIA GeForce RTX 5090 32GB／Apple Mac mini M4 Pro 48GBです。 Q4_K_Mは約24.7GB必要で、最小候補はNVIDIA GeForce RTX 5090 32GB／Apple Mac mini M4 Pro 48GBです。 Q8_0は約39.5GB必要で、最小候補はNVIDIA RTX 6000 Ada 48GB／Apple Mac mini M4 Pro 48GBです。
収まらない場合、何を試すべき？
まず最小量子化と短いコンテキストを選びます。それでも不足する場合は、gpt-oss-20b、Qwen3.8 27B、Gemma 4 12B Unifiedなど小さいモデルと比較してください。外部SSDは保存には使えますが、推論メモリは増えません。