GPU 对比:跑本地 LLM 怎么选

每组对比页包含:构建期实算的规格对照表、14 个主流模型在 Q4_K_M @8K 下的并排判定矩阵与理论速度、每美元带宽/显存性价比指标,以及人工撰写的对比分析与 FAQ。判定与速度均为公式估算,非实测。

对比组合	显存对比(可用)	一句话结论
RTX 3090 vs RTX 4090	24.0 GB vs 24.0 GB	纯跑 LLM 选 3090:同样 24GB,判定矩阵逐行一致,带宽只差 8%,二手价却不到 4090 的一半;4090 买的是省心、功耗与游戏兼顾。
RTX 4090 vs RTX 5090	24.0 GB vs 32.0 GB	能按原价买到就选 5090:32B 档从勉强变宽裕、速度快 78%;按现价两张卡都不理性——4090 停产溢价,5090 市价约 2 倍 MSRP。
RTX 4070 Ti Super vs RTX 3090	16.0 GB vs 24.0 GB	主玩 LLM 选 3090:24GB vs 16GB 是“能跑 24-32B 与不能”的质变;主玩游戏顺带 LLM、或对矿卡零容忍,才选 4070 Ti Super。
RTX 3060 12GB vs RTX 4070 Ti Super	12.0 GB vs 16.0 GB	预算 $300 以内、目标 8B 档选 3060 12GB;要跑 Phi-4 14B / gpt-oss-20b 这一档,加钱上 4070 Ti Super;24B 以上两张都不行。
RTX 3090 vs RX 7900 XTX	24.0 GB vs 24.0 GB	Linux + 愿折腾选 7900 XTX:一半的价钱、相同的 24GB、带宽还略高;要 CUDA 生态确定性与多卡退路,选 3090。
RTX A6000 vs RTX 3090	48.0 GB vs 24.0 GB	要单卡跑 70B 选 A6000(48GB 贴顶装下);接受双卡折腾选 3090×2——同容量、聚合带宽翻倍、还便宜约 $600。
Mac Studio M3 Ultra (96GB) vs RTX A6000	72.0 GB vs 48.0 GB	要 60-72GB 容量与零运维选 M3 Ultra;要 CUDA 生态与一半的价格选 A6000——但它的 48GB 止步于 70B Q4 贴顶。
Mac mini M4 Pro (48GB) vs RTX 3090	36.0 GB vs 24.0 GB	要安静、开箱即用、目标 32B 以内选 Mac mini;要速度、CUDA 生态与升级空间(双卡 70B),选二手 3090 自组主机。

数据核实于 2026-09-01