GPUFits
RTX 3060 12GB 能跑 Qwen3 32B 吗？
❌ 不可行
Qwen3 32B @ Q4_K_M · 8K 上下文
显存需求
23.7 GB
可用显存
12.0 GB
显存分解
| 权重(Q4_K_M) | 20.1 GB |
| KV 缓存（8K 上下文） | 2.1 GB |
| 运行时开销 | 1.5 GB |
| 总需求 | 23.7 GB |
按 8K 上下文、fp16 KV 缓存计算。更长上下文需要更多显存——其他参数请用显存计算器。
推荐量化档位
任何量化档都装不下
2× RTX 3060 12GB 合计可用 24.0GB——可以运行（勉强装下）。
这张卡能跑好的更小模型
常见问题
- Qwen3 32B 需要多少显存？
- Q4_K_M、8K 上下文下：权重 20.1GB + KV 缓存 2.1GB + 运行时开销 1.5GB = 共 23.7GB。RTX 3060 12GB 可用显存 12.0GB，判定为：本地不可行。
- RTX 3060 12GB 跑 Qwen3 32B 推荐什么量化档？
- 都不推荐——即使 Q2_K（16.6GB）也超过本卡 12.0GB 可用显存。请换更小的模型、多卡方案或云端 GPU。
数据核实于 2026-08-04