首页 › 目录 › 2026 年 RTX 3090(24 GB)上的最佳 LLM — 二手显卡首选

2026 年 RTX 3090(24 GB)上的最佳 LLM — 二手显卡首选

◆ 本地 AI — 1 小时即可在你的电脑上拥有私密、免费的 ChatGPT · 24 欧元 · 或以 49 欧元购买所有套件 →

排名更新于 2026年9月22日

RTX 3090(24 GB GDDR6X,936 GB/s)是 2026 年 LLM 领域性价比最高的选择。二手约 600-700 欧元,24 GB 满血运行,Qwen 32B Q5 流畅。双卡堆叠至 48 GB 约 1300 欧元。

本地 AI 的优惠和替代方案

RTX 3090 :可选购的本地 AI 替代方案 — GMKtec EVO-X2 64 GB / 1 TB (Ryzen AI Max+ 395) :

迷你PC是一台完整机器:请检查所需内存和软件兼容性。它不能替代macOS/MLX或CUDA。

为什么选择它?查看我们对 GMKtec EVO-X2 64 GB / 1 TB(Ryzen AI Max+ 395)的完整介绍 →

如何根据预算选择电脑?看看我们推荐的 800 至 3,500 欧元价位的电脑 →

联盟推广链接 — QuelLLM 可能会从购买中获得佣金,你无需支付额外费用。这不会影响排名,排名由我们独立制定。作为 Amazon 合作伙伴,QuelLLM 会从符合条件的购买中获得收益。

排名

1

🇺🇸 Gemma 4 26B-A4B MoE

Google · 26B 参数 · Apache 2.0 · 128 000 tokens ctx

Gemma 4 的 MoE 变体。总参数量 26B,激活参数量 4B。完整多模态(文本+图像+音频)。

排名原因 Gemma 4 的 MoE 变体。总参数量 26B,激活参数量 4B。完整多模态(文本+图像+音频)。
ollama run gemma4:26b
在 RTX 3090 上
Q5_K_M
19 GB · 22 tok/s
2

🇨🇳 LLaDA 2.0 Uni 16B

Ant Group / inclusionAI · 16B 参数 · Apache 2.0 · 8192 token 上下文

首个采用 Apache 2.0 许可证的开源 dLLM:MoE 16B/1B + 6.2B 扩散解码器。文本与视觉统一。2026 年 4 月 22 日发布。

排名原因 首个采用 Apache 2.0 许可证的开源 dLLM:MoE 16B/1B + 6.2B 扩散解码器。文本与视觉统一。2026 年 4 月 22 日发布。
# HuggingFace : inclusionAI/LLaDA2.0-Uni (Flash Attn 2 + CUDA 12.4 requis)
在 RTX 3090 上
Q5_K_M
22 GB · 60 tok/s
3

🇨🇳 Qwen 3.6 27B

Alibaba · 27B 参数 · Apache 2.0 · 262 144 tokens ctx

27B 稠密多模态模型,2026 年 4 月 22 日发布。262k 上下文(1M YaRN)。SWE-bench Verified 77.2%。

排名原因 27B 稠密多模态模型,2026 年 4 月 22 日发布。262k 上下文(1M YaRN)。SWE-bench Verified 77.2%。
ollama run qwen3.6:27b
在 RTX 3090 上
Q5_K_M
19 GB · 13 tok/s
4

🇨🇳 Qwen 3.8 27B

Alibaba · 27B 参数 · Apache 2.0 · 262 144 tokens ctx

Qwen 3.8 27B:稠密多模态模型(文本 + 视觉),262k 上下文,Q4 约需 16 GB 显存(Ollama 权重为 18 GB)。Apache 2.0,支持智能体式编程和视觉。

排名原因 Qwen 3.8 27B:稠密多模态模型(文本 + 视觉),262k 上下文,Q4 约需 16 GB 显存(Ollama 权重为 18 GB)。Apache 2.0,支持智能体式编程和视觉。
ollama run qwen3.8:27b
在 RTX 3090 上
Q5_K_M
19 GB · 14 tok/s
5

🇨🇳 GLM 4.7 Flash

Zhipu AI · 31B 参数 · MIT · 128 000 tokens ctx

GLM-4.7-Flash(MoE 31B,约 3B 激活参数):在 30B 级别中,编程能力与显存占用之比最佳。MIT 许可证,128k 上下文,在 3090/4090 上速度非常快。

排名原因 GLM-4.7-Flash(MoE 31B,约 3B 激活参数):在 30B 级别中,编程能力与显存占用之比最佳。MIT 许可证,128k 上下文,在 3090/4090 上速度非常快。
ollama run glm-4.7-flash
在 RTX 3090 上
Q5_K_M
23 GB · 40 tok/s
6

🇺🇸 Gemma 4 31B

Google · 31B 参数 · Apache 2.0 · 上下文:256,000 个 token

稠密架构,31B 参数,支持多模态(文本+图像+音频)。支持 140+ 种语言,256k 上下文。Chatbot Arena 开源模型排名第 3。

排名原因 稠密架构,31B 参数,支持多模态(文本+图像+音频)。支持 140+ 种语言,256k 上下文。Chatbot Arena 开源模型排名第 3。
ollama run gemma4:31b
在 RTX 3090 上
Q5_K_M
22 GB · 12 tok/s
7

🇺🇸 Granite 4.1 30B Instruct

IBM · 30B 参数 · Apache 2.0 · 131 072 tokens ctx

300 亿参数的稠密模型,采用 Apache 2.0 许可证,支持 12 种语言(含法语),131k 上下文,GQA 32Q/8KV。支持兼容 OpenAI 的工具调用。发布于 2026 年 4 月 29 日。

排名原因 300 亿参数的稠密模型,采用 Apache 2.0 许可证,支持 12 种语言(含法语),131k 上下文,GQA 32Q/8KV。支持兼容 OpenAI 的工具调用。发布于 2026 年 4 月 29 日。
ollama run granite4.1:30b
在 RTX 3090 上
Q5_K_M
21 GB · 12 tok/s
8

🇺🇸 Nemotron Cascade 2 30B-A3B

NVIDIA · 30B 参数 · NVIDIA 开放模型许可证 · 128 000 tokens ctx

MoE,总参数量 30B,激活参数量 3B:思考模式 + 指令微调。荣获 IMO 2025 和 IOI 2025 金牌。得益于 3B 激活参数,推理速度快,具备 30B 级别的推理能力。2026 年 4 月发布。

排名原因 MoE,总参数量 30B,激活参数量 3B:思考模式 + 指令微调。荣获 IMO 2025 和 IOI 2025 金牌。得益于 3B 激活参数,推理速度快,具备 30B 级别的推理能力。2026 年 4 月发布。
ollama run nemotron-cascade-2
在 RTX 3090 上
Q5_K_M
21 GB · 30 tok/s

对比表

名次 模型 Params Q4 VRAM 上下文 许可证 在 RTX 3090 上
#1 Gemma 4 26B-A4B MoE 26B 16 GB 128 000 Apache 2.0 22 tok/s · Q5_K_M
#2 LLaDA 2.0 Uni 16B 16B 18 GB 8 192 Apache 2.0 60 tok/s · Q5_K_M
#3 Qwen 3.6 27B 27B 16 GB 262 144 Apache 2.0 13 tok/s · Q5_K_M
#4 Qwen 3.8 27B 27B 16 GB 262 144 Apache 2.0 14 tok/s · Q5_K_M
#5 GLM 4.7 Flash 31B 19 GB 128 000 MIT 40 tok/s · Q5_K_M
#6 Gemma 4 31B 31B 18 GB 256 000 Apache 2.0 12 tok/s · Q5_K_M
#7 Granite 4.1 30B Instruct 30B 17 GB 131 072 Apache 2.0 12 tok/s · Q5_K_M
#8 Nemotron Cascade 2 30B-A3B 30B 17 GB 128 000 NVIDIA 开放模型许可证 30 tok/s · Q5_K_M
本地 AI 套件

只需 1 小时,即可在您的电脑上拥有专属的免费 ChatGPT — LM Studio、Ollama、Open WebUI、您的文档,无需云端。

  • 在线空间,终身可用
  • PDF + 文件
  • 30 天内退款

免费备忘录

在你的机器上运行哪个代码模型?

接收速查表 显存 → 最佳代码模型 → Ollama 命令 (一屏即可查看,可直接复制粘贴)。再使用本地 Copilot 套件,搭建真正可用的运行环境。

本地副驾驶套件 — 可直接粘贴使用的 Ollama + Cline + Aider 配置、调校好的 Modelfiles、故障排除、可终身使用的在线空间 →

无垃圾邮件。1 次点击即可退订。你的数据保留在我们这里(绝不转售)。

排名方法论

筛选条件:Q4_K_M ≤ 22 GB。加分项:13–32B(峰值 24 GB)。936 GB/s GDDR6X:Ampere 架构表现扎实。

考虑的标准:

  • Q4_K_M ≤ 22 GB
  • 2026 年运行 LLM 的二手硬件首选
  • Qwen 3 32B Q5 流畅
  • LoRA 微调 7-13B

评分完全透明:请参阅 我们的方法论 ,了解 VRAM/每秒令牌数的计算详情。

常见问题

为什么 3090 是 2026 年运行 LLM 的最佳二手显卡选择?

24 GB 显存(与 4090 和 3090 Ti 相同),价格约 600–700 €。全新 4070 Ti Super 约 900 €,配备 16 GB 显存。对于 LLM,3090 的每 GB 显存成本仍无人能及。参见 完整指南.

3090 与 4090:2026 年该如何选择?

4090 约快 2 倍,但全新价格约 1500 欧元,而二手 3090 约 650 欧元。若预算充足,选 4090;若注重成本,选 3090。详见 RTX 4090.

堆叠 2× 3090 用于 Llama 70B?

可以——二手价格约 1300 欧元,总显存为 48 GB。通过张量并行(vLLM、llama.cpp -tp 2),可以容纳 Llama 70B Q4_K_M(约 40 GB)。速度约为 25–35 tok/s。在本地运行 70B 模型的性价比方面,很难找到更好的方案。

在3090上选择哪个模型最合适?

Qwen 3 32B Q5(约 22 GB)的速度为每秒 22–28 个 token,或 Mistral Small 24B Q6(约 18 GB)的速度为每秒 30–35 个 token。用于编程可选 Qwen 2.5 Coder 32B Q4(约 17 GB)。参见 编程模型排行榜.

深入了解

QuelLLM 套件 按用途分类的参考指南
所有套件,终身使用 — 49 €