本地 LLM 需要什么 GPU?从 RTX 4070 到 5090,Mac (2026)

对于本地 LLM,第 1 位的标准是 VRAM,而不是游戏性能:12 GB 适合 90 亿至 120 亿参数的模型,16 GB 适合 200 亿至 240 亿参数的模型,24 GB 适合 270 亿至 350 亿参数的模型(二手 RTX 3090 或 RTX 4090),32 GB 则对应 RTX 5090。其次才是带宽和软件支持(CUDA、ROCm、Vulkan)。
GPU 比其他任何部件都更能改变您的本地 AI 体验,但您要找的与游戏玩家不同:最重要的是显存,其次是带宽,再次是软件支持和功耗。本指南按显存档位对 NVIDIA、AMD 和 Intel 显卡进行分类,根据本站目录说明每个档位能运行什么,并链接到各显卡的单独指南。
您正在挑选电脑吗? 按预算推荐 →
#显存至上
LLM 必须完全装入显存才能全速运行。一旦溢出到电脑内存,速度会骤降约十倍。因此,你能运行的模型大小取决于显存,而不是 GPU 的原始算力。此外还需为 KV 缓存(即上下文占用的内存)预留空间,它会随对话长度不断增长。
- 8 GB
- Qwen 3.5 9B(Q4 下约 6 GB)或 40 亿至 80 亿参数的模型。入门级,上下文有限。
- 12 GB
- Gemma 4 12B(Q4 下约 7 GB),Qwen 3.5 9B 余量充足。不错的入门档位。
- 16 GB
- gpt-oss 20B(Q4 量化下约 13 GB)。240 亿至 270 亿参数的模型已达极限,且只能使用较短的上下文。
- 24 GB
- Qwen 3.8 27B(Q4 下约 16 GB)、Gemma 4 31B(约 18 GB)、一个 350 亿参数的 MoE 模型(Q4 下 21 GB,上下文缩减)。
- 32 GB
- Q8 下的 Qwen 3.8 27B(约 29 GB),Nemotron 3.5 Lightning 30B-A3B(Q4 下约 25 GB)搭配长上下文。
- 48 GB 及以上,或统一内存
- Q4 量化下的 70B 参数模型(约 40 GB)及更大模型:需要多张显卡或一台统一内存机器。
上述大小来自本站目录(Q4 或 Q8 量化):这些是文件大小的估算,而非实测。《显存:是什么,AI 需要多少?》指南详细介绍了计算方法。
#按显存档位划分的显卡表
该表按显存对显卡进行分类。右侧各列显示根据目录该档位能够流畅运行的内容,以及针对您感兴趣的显卡应查阅的本站指南。
| 档位 | 显卡(显存) | 目录中的模型(Q4) | 本站指南 |
|---|---|---|---|
| 8 GB | RTX 5060、RTX 5050、RTX 5060 Ti 8 GB、RX 9060 XT 8 GB | Qwen 3.5 9B(6 GB),Qwen 3.5 4B | 8 GB 显存适合运行哪个 LLM? |
| 12 GB | RTX 5070、RTX 3060 12 GB、Arc B580 | Gemma 4 12B(7 GB)、Qwen 3.5 9B | 12 GB 显存适合运行哪个 LLM? |
| 16 GB | RTX 5060 Ti 16 GB、RTX 5070 Ti、RTX 5080、RX 9070、RX 9070 XT、RX 9060 XT 16 GB | gpt-oss 20B(13 GB)、Gemma 4 26B-A4B MoE(16 GB,处于极限) | 16 GB 显存适合运行哪个 LLM? |
| 20 GB | RX 7900 XT | gpt-oss 20B 搭配大上下文,Qwen 3.8 27B(16 GB)搭配中等上下文 | Radeon RX 7900 XT 适合运行哪个 LLM? |
| 24 GB | 二手 RTX 3090、RTX 4090、RX 7900 XTX | Qwen 3.8 27B(16 GB)、Gemma 4 31B(18 GB)、Qwen 3.6 35B-A3B(21 GB,缩减上下文) | 24 GB 显存该选哪个 LLM? |
| 32 GB | RTX 5090 | Q8 量化的 Qwen 3.8 27B(29 GB)、Nemotron 3.5 Lightning 30B-A3B(25 GB) | 32 GB VRAM 该选哪个 LLM? |
| 更进一步:统一内存 | DGX Spark 及 GB10 设备、Ryzen AI Max+ 395、Mac Studio | gpt-oss 120B(70 GB)、Nemotron 3.5 Super 120B-A12B(70 GB) | DGX Spark、Strix Halo、Mac Studio |
显存容量:RTX 50 和 RTX 4090 依据 NVIDIA 的对比;Radeon 依据本站的各显卡指南;Arc B580 依据 Intel(12 GB)。显存容量可能因厂商推出的不同版本而有所差异。
#选择标准
- 1. 显存
- 这是一票否决的标准:如果目标模型装不下,GPU 再快也没用。请按模型大小加上上下文所需的余量来计算(长上下文需要数 GB)。
- 2. 内存带宽
- 生成时每个 token 都要读取全部活跃权重:最大速度接近带宽除以模型大小。在显存相同的情况下,更宽的总线和更快的显存能带来更高的每秒 token 数。NVIDIA 给出的总线位宽为:RTX 5090 为 512 位,RTX 5080 和 5070 Ti 为 256 位,RTX 5070 为 192 位,RTX 5060 Ti、5060 和 5050 为 128 位。Intel 给出 Arc B580 的带宽为 456 GB/s。
- 3. 软件支持
- CUDA(NVIDIA)兼容性最广:Ollama、llama.cpp、vLLM、ComfyUI 均可轻松运行。ROCm(AMD)可用于推理,但支持的显卡和发行版范围更窄。Vulkan 让 llama.cpp 几乎能在所有显卡上运行,包括 Intel Arc,可调选项更少,有时速度也更慢。
- 4. 功耗与噪音
- NVIDIA 公布的显卡总功耗从 130 W(RTX 5050)到 575 W(RTX 5090)不等。575 W 的显卡需要相匹配的电源、机箱和散热。Intel 公布 Arc B580 的功耗为 190 W。
- 5. 形态与未来
- 24 GB 或 32 GB 的显卡能为未来的模型留出余量;8 GB 的显卡很快就会捉襟见肘。若需要超过 32 GB,请考虑统一内存机器。
#确定自身需求
- 偶尔聊天,简单任务
- Qwen 3.5 9B 约占 7 GB 显存。8 到 12 GB 的显卡就够用:RTX 5060、RTX 3060 12 GB、Arc B580。
- 开发(自动补全与聊天)
- 一个用于代码补全的小型代码模型,与一个用于聊天的 240 亿至 270 亿参数模型并行运行:建议 16 至 24 GB。
- 专业 RAG、长文档
- 32,000 个 token 或更长的上下文会额外占用数 GB 显存。建议至少 16 GB。
- 微调、实验
- LoRA 至少需要 24 GB(RTX 3090 或 4090);更大规模则需要专业显卡或统一内存设备。
- 为团队提供服务
- 一块 24 至 32 GB 的 GPU,或用两张显卡以张量并行方式运行 70B 模型(参见多 GPU 指南)。
#NVIDIA:RTX 50 系列与二手显卡
NVIDIA 仍是最简单的选择:CUDA 在各处都受支持。下方的显存和算力数据取自 NVIDIA 的官方对比。
- RTX 5090(32 GB GDDR7,512 位,575 W)
- 大众消费级的最高档位:可运行 Q8 量化的 270 亿至 300 亿参数模型,或超长上下文。它需要可靠的电源和坚固的机箱。
- RTX 5080 与 RTX 5070 Ti(16 GB GDDR7,256 位,360 W 和 300 W)
- 16 GB 档位:可快速运行 gpt-oss 20B 以及 200 亿至 240 亿参数的模型。5070 Ti 在相同显存下功耗更低。
- RTX 5070(12 GB GDDR7,192 位,250 W)
- 12 GB 档位:90 亿至 120 亿参数的模型毫无压力。更大的模型则需要更高档位。
- RTX 5060 Ti(16 GB 或 8 GB,GDDR7,128 位,180 W)
- 16 GB 版本是 16 GB 档位的入门款;8 GB 版本只能运行小模型。购买前请确认具体型号。
- RTX 5060(8 GB)和 RTX 5050(8 GB GDDR6)
- 适用于 40 亿至 90 亿参数的模型;长上下文很快就会受限。
- RTX 4090(24 GB GDDR6X,384 位,450 W)
- 上一代产品,但拥有 24 GB 显存和高带宽:如果能买到,依然值得考虑。
- 二手 RTX 3090(24 GB)
- 二手市场上本地 AI 每欧元显存性价比最高的选择:24 GB 可运行 270 亿至 310 亿参数的模型。它的功耗和发热都高于新款显卡;参见二手部分。
- RTX 3060 12 GB
- 12 GB 档位在二手市场非常常见,适合入门。
#AMD:Radeon RX 9000 与 ROCm
在同一档次中,Radeon 通常比 GeForce 提供更多显存,但软件支持范围更窄。AMD 的 ROCm 文档列出的受支持型号包括 Radeon RX 9070 XT、9070 GRE、9070、9060 XT、9060(RDNA 4),以及 RX 7900 XTX、7900 XT、7900 GRE、7800 XT、7700 XT 和 7700(RDNA 3),支持的系统为 Ubuntu 24.04.4、Ubuntu 22.04.5、RHEL 10.1 和 RHEL 9.7。该页面将 ROCm 7.14.0 标注为生产版本。
- RX 9070 XT 与 RX 9070(16 GB)
- RDNA 4,16 GB 档:gpt-oss 20B 以及 200 亿到 240 亿参数的模型。
- RX 9060 XT(8 GB 或 16 GB)
- 与 RTX 5060 Ti 一样,请确认具体版本:16 GB 版本才是关键。
- RX 7900 XTX(24 GB)和 RX 7900 XT(20 GB)
- 仅有的 20 GB 和 24 GB 消费级 Radeon:无需购买 NVIDIA 即可达到 24 GB 档位,但需要接受 ROCm 的配置工作。
- RX 7800 XT、7900 GRE(16 GB)
- 上一代的 16 GB 档位。
#Apple Silicon 与统一内存
Mac 没有独立 GPU:内存是统一内存,由处理器和 GPU 共享。GPU 只能使用其中一部分,在 macOS 下默认约为三分之二到四分之三。根据 Apple 的数据,Mac mini M6 最高可配 32 GB(170 GB/s),Mac mini M5 Pro 最高可配 64 GB(307 GB/s)。对于 700 亿参数及以上的模型,大内存的 Mac Studio、GB10 机器或 Ryzen AI Max+ 395 更为合适。
#Intel Arc
Intel 将其显卡定位为每欧元可获得更多显存。根据 Intel 的产品规格页,Arc B580 配备 12 GB GDDR6 显存、192 位位宽、456 GB/s 带宽,功耗 190 W。Arc A770(16 GB)仍是二手市场上的一个选择。软件支持需借助 Vulkan 或 Intel 自家工具:相关文档不如 CUDA 完善。
#按档位选择
与其给出每周都在变化的具体预算金额,不如按需求给出选择。当前价格在本站的专门页面上持续跟踪。
- 开始
- 12 GB 档位:二手 RTX 3060 12 GB、Arc B580 或 RTX 5070。可运行 90 亿到 120 亿参数的模型。
- 每欧元显存性价比最高
- 24 GB 档:二手 RTX 3090。它能以 Q4 加载 270 亿至 310 亿参数的模型;70B 模型则需要两张卡。
- 16 GB 新卡舒适之选
- RTX 5070 Ti 或 RX 9070 XT,搭配一台配备 64 GB 内存的 PC,以运行超出显存容量的模型。
- 工作站
- RTX 5090(32 GB)可运行 Q8 下 270 亿到 300 亿参数的模型,70B 模型则需要统一内存设备。
- 顶级高端
- 两张 RTX 5090,或一台 Mac Studio、DGX Spark 或 Ryzen AI Max+ 395 迷你主机,用于超过 32 GB 的模型。
#全新还是二手?
- 全新
- 保修、最新一代、长期驱动支持。适合分摊在多年内的投资。
- 二手显卡(RTX 3090、4090)
- 同等显存,价格明显更低。用于 AI 的显卡通常比矿卡损耗更小,但这一点无法保证。
- 需要检查的事项
- 24 小时推理压力测试、负载下的温度(注意确保其保持在合理范围内)、导热垫未曾重新更换,最好附有原始发票。
- 企业采购
- 专业显卡提供更大的显存、更长的保修和技术支持,适合需要摊销成本的用户。
#常见问题
本地 LLM 该选哪款 GPU?+
本地运行 LLM 需要多少显存?+
对于本地 AI,二手 RTX 3090 是否比全新 RTX 5070 更值得买?+
本地 AI 选 AMD 还是 NVIDIA?+
可以用 Intel Arc 显卡运行 LLM 吗?+
RTX 5090 还是统一内存机器(DGX Spark、Mac Studio)?+
#2026年11月16日的来源与核实
显卡的显存、内存位宽和功耗数据来自 NVIDIA、Intel 和 AMD 的技术页面。模型大小来自本站目录,均为估算值。
- 来源:NVIDIA,GeForce 显卡对比
- 来源:Intel,Arc B580 规格
- 来源:AMD,ROCm 系统要求(支持的 Radeon 显卡)
- 来源:Apple 法国官网,Mac mini 技术规格
#按显卡和档位分类的指南
如需深入了解,请打开您感兴趣的显卡指南,或您所在内存档位的指南。
- VRAM 是什么?AI 需要多少 VRAM?
- CUDA:它是什么?AI 是否需要安装它?
- 使用 llama.cpp 在多 GPU 上运行 LLM:tensor-split,2× RTX 3090
- LLM GPU 服务器的成本是多少?
- 充分发挥 Apple Silicon Mac 的性能
有反馈、发现了错误,或想补充说明?请告诉我们,让这份指南对每个人都更有帮助。