入门 12 分钟GPU

本地 LLM 需要什么 GPU?从 RTX 4070 到 5090,Mac (2026)

本地 LLM 选什么 GPU?RTX 4070 至 5090,Mac(2026)
直接回答

对于本地 LLM,第 1 位的标准是 VRAM,而不是游戏性能:12 GB 适合 90 亿至 120 亿参数的模型,16 GB 适合 200 亿至 240 亿参数的模型,24 GB 适合 270 亿至 350 亿参数的模型(二手 RTX 3090 或 RTX 4090),32 GB 则对应 RTX 5090。其次才是带宽和软件支持(CUDA、ROCm、Vulkan)。

GPU 比其他任何部件都更能改变您的本地 AI 体验,但您要找的与游戏玩家不同:最重要的是显存,其次是带宽,再次是软件支持和功耗。本指南按显存档位对 NVIDIA、AMD 和 Intel 显卡进行分类,根据本站目录说明每个档位能运行什么,并链接到各显卡的单独指南。

您正在挑选电脑吗? 按预算推荐 →

作者: Mohamed Meguedmi·更新于 2026-11-19·已在 Windows、macOS 和 Linux 上测试

#显存至上

LLM 必须完全装入显存才能全速运行。一旦溢出到电脑内存,速度会骤降约十倍。因此,你能运行的模型大小取决于显存,而不是 GPU 的原始算力。此外还需为 KV 缓存(即上下文占用的内存)预留空间,它会随对话长度不断增长。

8 GB
Qwen 3.5 9B(Q4 下约 6 GB)或 40 亿至 80 亿参数的模型。入门级,上下文有限。
12 GB
Gemma 4 12B(Q4 下约 7 GB),Qwen 3.5 9B 余量充足。不错的入门档位。
16 GB
gpt-oss 20B(Q4 量化下约 13 GB)。240 亿至 270 亿参数的模型已达极限,且只能使用较短的上下文。
24 GB
Qwen 3.8 27B(Q4 下约 16 GB)、Gemma 4 31B(约 18 GB)、一个 350 亿参数的 MoE 模型(Q4 下 21 GB,上下文缩减)。
32 GB
Q8 下的 Qwen 3.8 27B(约 29 GB),Nemotron 3.5 Lightning 30B-A3B(Q4 下约 25 GB)搭配长上下文。
48 GB 及以上,或统一内存
Q4 量化下的 70B 参数模型(约 40 GB)及更大模型:需要多张显卡或一台统一内存机器。
→
黄金法则
预算相同时,选择显存最大的 GPU,即使其原始每秒 token 数稍低。一张二手 24 GB 的 RTX 3090 能运行全新 12 GB 的 RTX 4070 无法加载的模型。

上述大小来自本站目录(Q4 或 Q8 量化):这些是文件大小的估算,而非实测。《显存:是什么,AI 需要多少?》指南详细介绍了计算方法。

#按显存档位划分的显卡表

该表按显存对显卡进行分类。右侧各列显示根据目录该档位能够流畅运行的内容,以及针对您感兴趣的显卡应查阅的本站指南。

按显存档位划分的本地 LLM 显卡
档位显卡(显存)目录中的模型(Q4)本站指南
8 GBRTX 5060、RTX 5050、RTX 5060 Ti 8 GB、RX 9060 XT 8 GBQwen 3.5 9B(6 GB),Qwen 3.5 4B8 GB 显存适合运行哪个 LLM?
12 GBRTX 5070、RTX 3060 12 GB、Arc B580Gemma 4 12B(7 GB)、Qwen 3.5 9B12 GB 显存适合运行哪个 LLM?
16 GBRTX 5060 Ti 16 GB、RTX 5070 Ti、RTX 5080、RX 9070、RX 9070 XT、RX 9060 XT 16 GBgpt-oss 20B(13 GB)、Gemma 4 26B-A4B MoE(16 GB,处于极限)16 GB 显存适合运行哪个 LLM?
20 GBRX 7900 XTgpt-oss 20B 搭配大上下文,Qwen 3.8 27B(16 GB)搭配中等上下文Radeon RX 7900 XT 适合运行哪个 LLM?
24 GB二手 RTX 3090、RTX 4090、RX 7900 XTXQwen 3.8 27B(16 GB)、Gemma 4 31B(18 GB)、Qwen 3.6 35B-A3B(21 GB,缩减上下文)24 GB 显存该选哪个 LLM?
32 GBRTX 5090Q8 量化的 Qwen 3.8 27B(29 GB)、Nemotron 3.5 Lightning 30B-A3B(25 GB)32 GB VRAM 该选哪个 LLM?
更进一步:统一内存DGX Spark 及 GB10 设备、Ryzen AI Max+ 395、Mac Studiogpt-oss 120B(70 GB)、Nemotron 3.5 Super 120B-A12B(70 GB)DGX Spark、Strix Halo、Mac Studio

显存容量:RTX 50 和 RTX 4090 依据 NVIDIA 的对比;Radeon 依据本站的各显卡指南;Arc B580 依据 Intel(12 GB)。显存容量可能因厂商推出的不同版本而有所差异。

#选择标准

1. 显存
这是一票否决的标准:如果目标模型装不下,GPU 再快也没用。请按模型大小加上上下文所需的余量来计算(长上下文需要数 GB)。
2. 内存带宽
生成时每个 token 都要读取全部活跃权重:最大速度接近带宽除以模型大小。在显存相同的情况下,更宽的总线和更快的显存能带来更高的每秒 token 数。NVIDIA 给出的总线位宽为:RTX 5090 为 512 位,RTX 5080 和 5070 Ti 为 256 位,RTX 5070 为 192 位,RTX 5060 Ti、5060 和 5050 为 128 位。Intel 给出 Arc B580 的带宽为 456 GB/s。
3. 软件支持
CUDA(NVIDIA)兼容性最广:Ollama、llama.cpp、vLLM、ComfyUI 均可轻松运行。ROCm(AMD)可用于推理,但支持的显卡和发行版范围更窄。Vulkan 让 llama.cpp 几乎能在所有显卡上运行,包括 Intel Arc,可调选项更少,有时速度也更慢。
4. 功耗与噪音
NVIDIA 公布的显卡总功耗从 130 W(RTX 5050)到 575 W(RTX 5090)不等。575 W 的显卡需要相匹配的电源、机箱和散热。Intel 公布 Arc B580 的功耗为 190 W。
5. 形态与未来
24 GB 或 32 GB 的显卡能为未来的模型留出余量;8 GB 的显卡很快就会捉襟见肘。若需要超过 32 GB,请考虑统一内存机器。
i
统一内存还是独立显存?
Mac、GB10 机器(DGX Spark、AI TOP ATOM)或 Ryzen AI Max+ 395 迷你主机都在处理器和 GPU 之间共享大容量内存:它们能加载 24 或 32 GB 显存无法容纳的模型,但对于显卡装得下的模型,其生成速度比 RTX 5090 慢。

#确定自身需求

偶尔聊天,简单任务
Qwen 3.5 9B 约占 7 GB 显存。8 到 12 GB 的显卡就够用:RTX 5060、RTX 3060 12 GB、Arc B580。
开发(自动补全与聊天)
一个用于代码补全的小型代码模型,与一个用于聊天的 240 亿至 270 亿参数模型并行运行:建议 16 至 24 GB。
专业 RAG、长文档
32,000 个 token 或更长的上下文会额外占用数 GB 显存。建议至少 16 GB。
微调、实验
LoRA 至少需要 24 GB(RTX 3090 或 4090);更大规模则需要专业显卡或统一内存设备。
为团队提供服务
一块 24 至 32 GB 的 GPU,或用两张显卡以张量并行方式运行 70B 模型(参见多 GPU 指南)。

#NVIDIA:RTX 50 系列与二手显卡

NVIDIA 仍是最简单的选择:CUDA 在各处都受支持。下方的显存和算力数据取自 NVIDIA 的官方对比。

RTX 5090(32 GB GDDR7,512 位,575 W)
大众消费级的最高档位:可运行 Q8 量化的 270 亿至 300 亿参数模型,或超长上下文。它需要可靠的电源和坚固的机箱。
RTX 5080 与 RTX 5070 Ti(16 GB GDDR7,256 位,360 W 和 300 W)
16 GB 档位:可快速运行 gpt-oss 20B 以及 200 亿至 240 亿参数的模型。5070 Ti 在相同显存下功耗更低。
RTX 5070(12 GB GDDR7,192 位,250 W)
12 GB 档位:90 亿至 120 亿参数的模型毫无压力。更大的模型则需要更高档位。
RTX 5060 Ti(16 GB 或 8 GB,GDDR7,128 位,180 W)
16 GB 版本是 16 GB 档位的入门款;8 GB 版本只能运行小模型。购买前请确认具体型号。
RTX 5060(8 GB)和 RTX 5050(8 GB GDDR6)
适用于 40 亿至 90 亿参数的模型;长上下文很快就会受限。
RTX 4090(24 GB GDDR6X,384 位,450 W)
上一代产品,但拥有 24 GB 显存和高带宽:如果能买到,依然值得考虑。
二手 RTX 3090(24 GB)
二手市场上本地 AI 每欧元显存性价比最高的选择:24 GB 可运行 270 亿至 310 亿参数的模型。它的功耗和发热都高于新款显卡;参见二手部分。
RTX 3060 12 GB
12 GB 档位在二手市场非常常见,适合入门。
i
NVIDIA 页面上没有 RTX 50 Super
NVIDIA 的 RTX 50 显卡页面未列出任何 Super 版本。有文章提到 18 GB 和 24 GB 的 Super 显卡,但并无官方公告:请勿据此做出购买决定。

#AMD:Radeon RX 9000 与 ROCm

在同一档次中,Radeon 通常比 GeForce 提供更多显存,但软件支持范围更窄。AMD 的 ROCm 文档列出的受支持型号包括 Radeon RX 9070 XT、9070 GRE、9070、9060 XT、9060(RDNA 4),以及 RX 7900 XTX、7900 XT、7900 GRE、7800 XT、7700 XT 和 7700(RDNA 3),支持的系统为 Ubuntu 24.04.4、Ubuntu 22.04.5、RHEL 10.1 和 RHEL 9.7。该页面将 ROCm 7.14.0 标注为生产版本。

RX 9070 XT 与 RX 9070(16 GB)
RDNA 4,16 GB 档:gpt-oss 20B 以及 200 亿到 240 亿参数的模型。
RX 9060 XT(8 GB 或 16 GB)
与 RTX 5060 Ti 一样,请确认具体版本:16 GB 版本才是关键。
RX 7900 XTX(24 GB)和 RX 7900 XT(20 GB)
仅有的 20 GB 和 24 GB 消费级 Radeon:无需购买 NVIDIA 即可达到 24 GB 档位,但需要接受 ROCm 的配置工作。
RX 7800 XT、7900 GRE(16 GB)
上一代的 16 GB 档位。
!
ROCm:不如 CUDA 通用
ROCm 可在列出的显卡上进行推理,但受支持的系统列表很短,Windows 也需单独看待。购买前请核实你的具体显卡型号和发行版;Vulkan 配合 llama.cpp 仍是一种替代方案。

#Apple Silicon 与统一内存

Mac 没有独立 GPU:内存是统一内存,由处理器和 GPU 共享。GPU 只能使用其中一部分,在 macOS 下默认约为三分之二到四分之三。根据 Apple 的数据,Mac mini M6 最高可配 32 GB(170 GB/s),Mac mini M5 Pro 最高可配 64 GB(307 GB/s)。对于 700 亿参数及以上的模型,大内存的 Mac Studio、GB10 机器或 Ryzen AI Max+ 395 更为合适。

→
Mac 安静且省电
对于办公室或诊所、事务所而言,Mac 的功耗远低于配备 RTX 4090 或 5090 的塔式主机,也不需要额外的机箱或专用电源。不过,对于能装入显存的模型,它的生成速度不及高端 NVIDIA 显卡。

#Intel Arc

Intel 将其显卡定位为每欧元可获得更多显存。根据 Intel 的产品规格页,Arc B580 配备 12 GB GDDR6 显存、192 位位宽、456 GB/s 带宽,功耗 190 W。Arc A770(16 GB)仍是二手市场上的一个选择。软件支持需借助 Vulkan 或 Intel 自家工具:相关文档不如 CUDA 完善。

i
Vulkan 与 llama.cpp
采用 Vulkan 后端的 llama.cpp 可在 Intel Arc 显卡上运行;本站的 Arc 指南详细介绍了 Ollama 和 IPEX-LLM 的配置方法。

#按档位选择

与其给出每周都在变化的具体预算金额,不如按需求给出选择。当前价格在本站的专门页面上持续跟踪。

开始
12 GB 档位:二手 RTX 3060 12 GB、Arc B580 或 RTX 5070。可运行 90 亿到 120 亿参数的模型。
每欧元显存性价比最高
24 GB 档:二手 RTX 3090。它能以 Q4 加载 270 亿至 310 亿参数的模型;70B 模型则需要两张卡。
16 GB 新卡舒适之选
RTX 5070 Ti 或 RX 9070 XT,搭配一台配备 64 GB 内存的 PC,以运行超出显存容量的模型。
工作站
RTX 5090(32 GB)可运行 Q8 下 270 亿到 300 亿参数的模型,70B 模型则需要统一内存设备。
顶级高端
两张 RTX 5090,或一台 Mac Studio、DGX Spark 或 Ryzen AI Max+ 395 迷你主机,用于超过 32 GB 的模型。

#全新还是二手?

全新
保修、最新一代、长期驱动支持。适合分摊在多年内的投资。
二手显卡(RTX 3090、4090)
同等显存,价格明显更低。用于 AI 的显卡通常比矿卡损耗更小,但这一点无法保证。
需要检查的事项
24 小时推理压力测试、负载下的温度(注意确保其保持在合理范围内)、导热垫未曾重新更换,最好附有原始发票。
企业采购
专业显卡提供更大的显存、更长的保修和技术支持,适合需要摊销成本的用户。

#常见问题

FAQ
本地 LLM 该选哪款 GPU?+
先选显存:12 GB 适合 90 亿至 120 亿参数的模型,16 GB 适合 200 亿至 240 亿参数的模型,24 GB 适合 270 亿至 350 亿参数的模型,RTX 5090 则有 32 GB。显存相同时,再看带宽以及对 CUDA、ROCm 或 Vulkan 的支持。
本地运行 LLM 需要多少显存?+
模型权重大小,再加上为上下文预留的余量。在 Q4 量化下,90 亿参数的模型约需 6 GB,270 亿参数的约需 16 GB,700 亿参数的约需 40 GB。长上下文还需额外增加数 GB。
对于本地 AI,二手 RTX 3090 是否比全新 RTX 5070 更值得买?+
如果要加载 270 亿至 310 亿参数的模型,是的:24 GB 显存对比 12 GB。RTX 5070 更新、功耗更低,但 12 GB 会限制模型大小。
本地 AI 选 AMD 还是 NVIDIA?+
NVIDIA 最简单(CUDA 全面支持)。Radeon RX 9000 和 7900 通常显存更大,但 ROCm 仅在部分显卡和 Linux 发行版上获得官方支持:请查看 AMD 的兼容性页面。
可以用 Intel Arc 显卡运行 LLM 吗?+
可以,通过 Vulkan 配合 llama.cpp,或使用 Intel 的工具。Arc B580 提供 12 GB 显存;其支持的文档不如 CUDA 完善。
RTX 5090 还是统一内存机器(DGX Spark、Mac Studio)?+
对于能装入其 32 GB 显存的模型,RTX 5090 要快得多。统一内存机器可以加载 700 亿参数及以上的模型,但生成速度更慢。

#2026年11月16日的来源与核实

显卡的显存、内存位宽和功耗数据来自 NVIDIA、Intel 和 AMD 的技术页面。模型大小来自本站目录,均为估算值。

#按显卡和档位分类的指南

如需深入了解,请打开您感兴趣的显卡指南,或您所在内存档位的指南。

这份指南对您有帮助吗?

有反馈、发现了错误,或想补充说明?请告诉我们,让这份指南对每个人都更有帮助。