GPUFits

GPU 对比 / RTX 3090 vs RTX 4090

RTX 3090 vs RTX 4090:跑本地 LLM 怎么选

结论

纯跑 LLM 选 3090:同样 24GB,判定矩阵逐行一致,带宽只差 8%,二手价却不到 4090 的一半;4090 买的是省心、功耗与游戏兼顾。

规格对照

RTX 3090 RTX 4090
标称显存24 GB24 GB
可用显存(模型可用)24.0 GB24.0 GB
显存带宽936 GB/s1008 GB/s
类型独显独显
发布年份20202022
MSRP$1,499$1,599
二手参考价 $1,100 $2,400
TDP350 W450 W

模型判定矩阵(Q4_K_M @8K)

模型 显存需求 RTX 3090 理论速度 RTX 4090 理论速度
Llama 3.2 3B 4.4 GB 宽裕 ≈357 宽裕 ≈385
Llama 3.1 8B 7.5 GB 宽裕 ≈143 宽裕 ≈154
Qwen3 8B 7.7 GB 宽裕 ≈140 宽裕 ≈151
Phi-4 14B 12.2 GB 宽裕 ≈78 宽裕 ≈84
Mistral Small 3.2 24B 17.5 GB 宽裕 ≈48 宽裕 ≈51
Gemma 3 27B 22.4 GB 勉强装下 ≈42 勉强装下 ≈45
Qwen3.8 27B 20.7 GB 勉强装下 ≈41 勉强装下 ≈44
Muse Glimmer 30B 20.1 GB 勉强装下 ≈39 勉强装下 ≈42
Qwen3 30B-A3B 21.0 GB 勉强装下 ≈347 勉强装下 ≈374
Qwen3 32B 23.7 GB 勉强装下 ≈35 勉强装下 ≈38
gpt-oss-20b 14.7 GB 宽裕 ≈318 宽裕 ≈343
Llama 3.3 70B 47.4 GB 本地不可行 本地不可行
gpt-oss-120b 73.6 GB 本地不可行 本地不可行
DeepSeek-R1 671B 413.1 GB 本地不可行 本地不可行

高亮行 = 两卡判定不同的分水岭模型。 理论速度 = 带宽 × 0.75 ÷ 每 token 权重字节(MoE 按激活参数),实际受框架/驱动/CPU 影响,误差 ±30%。判定为需要多卡/不可行时不显示速度。

性价比对比

RTX 3090 RTX 4090
每美元带宽 0.85 GB/s/$ 0.42 GB/s/$
每美元可用显存 0.022 GB/$ 0.010 GB/$

价格口径:RTX 3090 = 二手参考价; RTX 4090 = 二手参考价;二手价为市场参考价【估】,波动见分析。

对比分析

这是本地 LLM 圈被问得最多的对比,答案却简单:两卡同为 24GB,14 个模型的判定矩阵逐行一致——24B 档宽裕(Mistral Small Q4 约 17.5GB)、27-32B 档勉强(Qwen3 32B 约 23.7GB)、70B 单卡都不可行。差异只在速度:带宽 936 vs 1008 GB/s,decode 理论差约 8%,8B Q4 约 143 vs 154 tok/s,Qwen3 32B Q4 约 35 vs 38 tok/s——日常聊天几乎分不出来。

价差才是真正的分水岭:2026-08 二手 3090 约 $1,095-1,181,4090 因停产溢价到 $2,350-2,500(比 $1,599 的 MSRP 高 50% 以上,价格锚定 RTX 5090),价差约 2.2 倍。每美元带宽 0.85 vs 0.42 GB/s/$——4090 的 LLM 性价比只有 3090 的一半。一张二手 4090 的钱够买两张 3090,48GB 显存直接解锁 70B Q4,这才是 LLM 视角下的理性答案。

4090 的正当画像是:只要一张卡、在意噪音与每 token 能耗、还要兼顾游戏/创作;或者不想碰 2020 年老卡的挖矿史与 GDDR6X 散热垫问题(450W TDP 与 12VHPWR 接口也有自己的验机清单)。结论:预算导向的纯 LLM 用户买 3090,把省下的约 $1,300 留给第二张卡;体验导向且只买一张,4090 不算错,只是贵得与 LLM 无关。

常见问题

RTX 3090 和 4090 跑 LLM 速度差多少?
带宽 936 vs 1008 GB/s,decode 理论差约 8%:8B Q4 约 143 vs 154 tok/s,Qwen3 32B Q4 约 35 vs 38 tok/s。日常聊天体感几乎无差别;真正的差距在价格,不在速度。
二手 4090 比 3090 贵一倍多,值吗?
纯 LLM 不值:两卡同为 24GB,模型判定矩阵完全一致,$2,400 vs $1,100 的价差买不到任何新的模型覆盖面。4090 的溢价来自停产、游戏性能与 5090 锚定,与 LLM 价值无关。
两张卡谁更适合组双卡跑 70B?
3090。两张二手约 $2,200 得 48GB,聚合带宽约 1591 GB/s;4090 双卡约 $4,800 同样 48GB,只为快 8% 多付一倍钱不理性。注意双卡主板 PCIe 通道与 850W 以上电源。

相关指南

数据核实于 2026-09-01