GPUFits
模型库 / Llama 3.3 70B
Llama 3.3 70B 显存需求与显卡搭配
Llama 3.3 70B 是 Meta 稠密开放的旗舰:70.6B 参数、80 层、8 KV 头、128K 上下文,官方口径指令跟随质量对标 Llama 3.1 405B。硬件门槛是本站模型里最经典的分界线:Q4_K_M @8K 总需求约 47.4GB——单卡只有 RTX A6000 48GB 勉强能装;消费卡的现实路径是 2×24GB(3090/4090 层拆分)或 64GB 以上的 Apple 统一内存(M4 Max 64GB 勉强、M3 Ultra 96GB 宽裕)。
速度同样按约 43GB 权重计:双 3090 理论约 28 tok/s,单 4090 做不到,M3 Ultra 约 14 tok/s——可读但不算快。协议为 llama3.3-community。它是“本地能跑的最强稠密通用模型”的标准答案:要再往上走,就进入 MoE(gpt-oss-120b)或蒸馏模型(R1-Distill 系列)的世界了。
架构规格
| 总参数 | 70.6B |
| 激活参数 | 70.6B |
| 层数 | 80 |
| KV 头数 | 8 |
| Head 维度 | 128 |
| 原生上下文 | 128K |
| 开源协议 | llama3.3-community |
| 每 token KV 字节数(fp16) | 320.0 KB |
量化档显存需求(@8K 上下文,fp16 KV)
| 量化档 | 权重 | 总需求(含 1.5GB 运行时开销) |
|---|---|---|
| Q8_0 | 75.1 GB | 79.3 GB |
| Q6_K | 58.0 GB | 62.2 GB |
| Q4_K_M | 43.2 GB | 47.4 GB |
| Q3_K_M | 35.3 GB | 39.5 GB |
| Q2_K | 28.0 GB | 32.2 GB |
KV 缓存与运行时开销不随量化档变化;更长上下文按 KV 部分线性增加,可用显卡兼容性查询工具调整上下文长度。
显卡判定矩阵(Q4_K_M @8K)
| 显卡 | 可用显存 | 判定 | 推荐量化 | 理论速度 | |
|---|---|---|---|---|---|
| RTX 3060 12GB | 12.0 GB | 本地不可行 | 需 4 张 | — | 试算 → |
| RTX 3090 | 24.0 GB | 本地不可行 | 需 2 张 | — | 试算 → |
| RTX 4070 Ti Super | 16.0 GB | 本地不可行 | 需 3 张 | — | 试算 → |
| RTX 4090 | 24.0 GB | 本地不可行 | 需 2 张 | — | 试算 → |
| RTX 5090 | 32.0 GB | 本地不可行 | 需 2 张 | — | 试算 → |
| RTX A6000 | 48.0 GB | 勉强装下 | Q4_K_M | ≈13 tok/s | 试算 → |
| A100 80GB | 80.0 GB | 宽裕 | Q8_0 | ≈20 tok/s | 试算 → |
| H100 80GB | 80.0 GB | 宽裕 | Q8_0 | ≈33 tok/s | 试算 → |
| RX 7900 XTX | 24.0 GB | 本地不可行 | 需 2 张 | — | 试算 → |
| Mac mini M4 Pro (48GB) | 36.0 GB | 本地不可行 | Q2_K | ≈7 tok/s | 试算 → |
| Mac Studio M4 Max (64GB) | 48.0 GB | 勉强装下 | Q4_K_M | ≈9 tok/s | 试算 → |
| Mac Studio M3 Ultra (96GB) | 72.0 GB | 宽裕 | Q6_K | ≈11 tok/s | 试算 → |
理论速度 = 带宽 × 0.75 ÷ 每 token 权重字节(MoE 按激活参数),实际受框架/驱动/CPU 影响,误差 ±30%。
常见问题
- 单卡能跑 Llama 3.3 70B 吗?
- 只有 48GB 的 RTX A6000 勉强(Q4_K_M 约 47.4GB);A100/H100 80GB 宽裕,Q8_0(约 79GB)勉强。24GB/32GB 单卡都装不下,需要 2×24GB 多卡或 64GB+ 的 Mac。
- 双卡 RTX 3090 跑 70B 是什么体验?
- Q4_K_M 约 47.4GB,双 3090(48GB)层拆分后勉强装下,理论约 28 tok/s(聚合带宽 × 0.85 惩罚)。可读级速度,显存余量极小,上下文别开太长。
- Llama 3.3 70B 值得为它升级硬件吗?
- 如果你已在 24-32B 档感到质量瓶颈,值得——它是本地稠密质量的天花板;如果只是日常聊天,32B 档与它的差距不值一倍的硬件账单。
相关指南
数据核实于 2026-09-01