排名更新于 2026年9月22日
RTX 4090（24 GB 显存，Ada Lovelace 架构）是 2026 年消费级 LLM 推理的标杆。以下模型能充分发挥其性能：Q4/Q5 量化版本质量出色，可装入 24 GB 显存，吞吐量充裕（30+ token/秒）。
RTX 4090 ：可选购的本地 AI 替代方案 — GMKtec EVO-X2 64 GB / 1 TB (Ryzen AI Max+ 395) :
迷你PC是一台完整机器：请检查所需内存和软件兼容性。它不能替代macOS/MLX或CUDA。
为什么选择它？查看我们对 GMKtec EVO-X2 64 GB / 1 TB（Ryzen AI Max+ 395）的完整介绍 →
如何根据预算选择电脑？看看我们推荐的 800 至 3,500 欧元价位的电脑 →
联盟推广链接 — QuelLLM 可能会从购买中获得佣金，你无需支付额外费用。这不会影响排名，排名由我们独立制定。作为 Amazon 合作伙伴，QuelLLM 会从符合条件的购买中获得收益。
MoE 架构，总参数 33B、激活参数 3B，采用 Apache 2.0 许可，专精智能体编程。SWE-Bench Verified 得分 68.2%，128k 上下文。可在 36 GB 内存的 Mac 上运行。发布于 2026 年 4 月 28 日。
ollama run laguna-xs.2
Gemma 4 的 MoE 变体。总参数量 26B，激活参数量 4B。完整多模态（文本+图像+音频）。
ollama run gemma4:26b
首个采用 Apache 2.0 许可证的开源 dLLM：MoE 16B/1B + 6.2B 扩散解码器。文本与视觉统一。2026 年 4 月 22 日发布。
# HuggingFace : inclusionAI/LLaDA2.0-Uni (Flash Attn 2 + CUDA 12.4 requis)
27B 稠密多模态模型，2026 年 4 月 22 日发布。262k 上下文（1M YaRN）。SWE-bench Verified 77.2%。
ollama run qwen3.6:27b
Qwen 3.8 27B：稠密多模态模型（文本 + 视觉），262k 上下文，Q4 约需 16 GB 显存（Ollama 权重为 18 GB）。Apache 2.0，支持智能体式编程和视觉。
ollama run qwen3.8:27b
GLM-4.7-Flash（MoE 31B，约 3B 激活参数）：在 30B 级别中，编程能力与显存占用之比最佳。MIT 许可证，128k 上下文，在 3090/4090 上速度非常快。
ollama run glm-4.7-flash
稠密架构，31B 参数，支持多模态（文本+图像+音频）。支持 140+ 种语言，256k 上下文。Chatbot Arena 开源模型排名第 3。
ollama run gemma4:31b
| 名次 | 模型 | Params | Q4 VRAM | 上下文 | 许可证 | 在 RTX 4090 上 |
|---|---|---|---|---|---|---|
| #1 | Laguna XS.2 | 33B | 19 GB | 131 072 | Apache 2.0 | 100 tok/s · Q5_K_M |
| #2 | Gemma 4 26B-A4B MoE | 26B | 16 GB | 128 000 | Apache 2.0 | 60 tok/s · Q5_K_M |
| #3 | LLaDA 2.0 Uni 16B | 16B | 18 GB | 8 192 | Apache 2.0 | 130 tok/s · Q5_K_M |
| #4 | Qwen 3.6 27B | 27B | 16 GB | 262 144 | Apache 2.0 | 32 tok/s · Q5_K_M |
| #5 | Qwen 3.8 27B | 27B | 16 GB | 262 144 | Apache 2.0 | 22 tok/s · Q5_K_M |
| #6 | GLM 4.7 Flash | 31B | 19 GB | 128 000 | MIT | 100 tok/s · Q5_K_M |
| #7 | Gemma 4 31B | 31B | 18 GB | 256 000 | Apache 2.0 | 30 tok/s · Q5_K_M |
只需 1 小时，即可在您的电脑上拥有专属的免费 ChatGPT — LM Studio、Ollama、Open WebUI、您的文档，无需云端。
免费备忘录
接收速查表 显存 → 最佳代码模型 → Ollama 命令 （一屏即可查看，可直接复制粘贴）。再使用本地 Copilot 套件，搭建真正可用的运行环境。
本地副驾驶套件 — 可直接粘贴使用的 Ollama + Cline + Aider 配置、调校好的 Modelfiles、故障排除、可终身使用的在线空间 →无垃圾邮件。1 次点击即可退订。你的数据保留在我们这里（绝不转售）。
你的显卡 → 最适合在本地运行的编程模型，以及准确的 Ollama 命令：
| 你的 VRAM | 典型 GPU / Mac | 推荐的代码模型 | Ollama 命令 |
|---|---|---|---|
| 8 GB | RTX 4060 / 3060 · M1-M2 16 GB | Qwen 3.5 9B (Q4, 6.6 GB — 256k ctx) | ollama run qwen3.5:9b |
| 12 GB | RTX 3060 12 GB / 4070 / 5070 | Qwen 3.5 9B (Q8, 11 GB) 或 Gemma 4 12B (7.6 GB) | ollama run qwen3.5:9b-q8_0 |
| 16 GB | RTX 5070 Ti / 4080 / 5080 · RX 9070 XT · M4 24 GB | Devstral 24B (Q4, 14 GB) — 专长是编程智能体任务 | ollama run devstral:24b |
| 24 GB | RTX 3090 / 4090 · RX 7900 XTX · M4 Pro 48 GB | Qwen 3.8 27B (Q4, 18 GB) — “接近 Copilot” | ollama run qwen3.8:27b |
| 32 GB | RTX 5090 | Qwen 3.6 35B-A3B (Q4, 23 GB) — 快速 MoE | ollama run qwen3.6:35b |
| 48 GB+ | Mac M4 Max 64 GB · M2 Ultra 128 GB | Qwen3-Coder 30B-A3B (Q8, 32 GB — 256k ctx) | ollama run qwen3-coder:30b-a3b-q8_0 |
-base : ollama run qwen2.5-coder:7b-base — 在这一特定用途上，它仍是标杆。⚠️ Qwen 3.8： 其推理强度默认设得很高，处理简单请求时会“过度思考”——请将其调低至 low (或在首次启动时关闭它)。⚠️ 许可证陷阱： Codestral 22B = Mistral Non-Production License（非生产用途许可证） → 禁止用于工作中的编程。Qwen 3.5/3.8、Gemma 4 和 Devstral 采用 Apache 2.0 许可证。💡 因内存不足而崩溃？请预留约 1.5 GB 的显存用于上下文，或将量化精度降低一档。🔌 要将其接入 VS Code： Cline （可处理多个文件的智能体）， Aider (CLI) 或 Tabby/Twinny (FIM 自动补全) — 它们都连接到本地 Ollama。该套件 本地助手 — 可直接粘贴的配置 + 经过测试的设置 — 现已可用： /copilote-local.
保留能够在 Q4_K_M 模式下容纳在 24 GB 内且至少使用 40% VRAM 的模型（否则 7B 模型即可满足）。VRAM 利用率在 60% 至 95% 之间的模型获得额外加分——这是质量与吞吐量的最佳平衡点。
考虑的标准：
评分完全透明：请参阅 我们的方法论 ，了解 VRAM/每秒令牌数的计算详情。
能否在 RTX 4090 上运行 70B 模型？
采用 Q4_K_M 量化时，70B 模型需要约 40 GB 显存——单张 4090 放不下。您需要降低到 Q2/Q3（会损失质量），或将部分模型转移到由 CPU 使用的系统内存中运行（非常慢），或增加第二张显卡。要运行真正的 70B 模型，建议选择 2× RTX 4090，或一张 5090 搭配 DDR5 内存。
在 RTX 4090 上应选择何种量化级别？
Q5_K_M 是最佳平衡点（根据基准测试，相比 FP16 的损失不到 1%）。Q8 明显优于 Q5，但显存占用增加 50%。只有在想运行较大的模型、而 Q5 量化后无法装入显存时，才使用 Q4。
在 4090 上选 Mistral Small 3.1 24B 还是 Qwen 2.5 32B？
查看对比. Mistral Small 3.1 速度更快（24B < 32B），且在法语表现更优。Qwen 2.5 32B 在通用任务和代码任务上能力更强。
在RTX 4090上使用何种推理引擎？
用于交互式聊天： Ollama (简单) 或 llama.cpp （控制程度最高）。对于注重服务器吞吐量的场景： vLLM 或 ExLlamaV2。使用 vLLM 进行批处理时，性能可达到原来的 2–3 倍。