排名更新于 2026年9月22日
RTX 3070（8 GB GDDR6，448 GB/s）仍是一个适合7-9B模型Q4版本的二手选项（约200-250欧元）。虽然带宽低于3070 Ti，但功能可用。
RTX 3070 ：可选购的本地 AI 替代方案 — RTX 5060 Ti 16 GB :
如何根据预算选择电脑？看看我们推荐的 800 至 3,500 欧元价位的电脑 →
联盟推广链接 — QuelLLM 可能会从购买中获得佣金，你无需支付额外费用。这不会影响排名，排名由我们独立制定。作为 Amazon 合作伙伴，QuelLLM 会从符合条件的购买中获得收益。
OLMo 3 7B 的「thinking」SFT 微调：逐步推理，16k 上下文，Q4 约需 4.2 GB 显存。100% 开放，Apache 2.0 许可证。
# HuggingFace : zimplex/olmo3-7b-think-sft-eosfix-16k-3ep-euc
GLM 5.3（智谱）：7B 稠密模型，专攻代码与推理，128k 上下文，Q4 量化约需 4.1 GB 显存。轻量级，可在配备 6–8 GB 显存的 GPU 上运行，采用 MIT 许可证。
ollama pull glm-5.3
Dense 8B Apache 2.0，支持 12 种语言（含法语），131k 上下文，GQA 32Q/8KV。MMLU 73.84，HumanEval 85.37。发布于 2026 年 4 月 29 日。
# HuggingFace : ibm-granite/granite-4.1-8b
7B 稠密模型，100% 开放（权重 + 数据 + 代码）。为研究提供完全透明的信息。
ollama run olmo-3:7b
Granite 4.2 8B（IBM）：Apache 2.0 稠密模型，128k 上下文，Q4 量化约需 4.6 GB 显存。面向企业级多语言聊天、代码和推理。
ollama pull granite4.2
LFM2.5 7B（Liquid AI）：稠密 Liquid Foundation Model，32k 上下文，Q4 量化下需 4.1 GB 显存。针对 CPU 和边缘设备优化。2026年5月发布。
ollama pull lfm2.5
LFM2.5 DSpark（Liquid AI）：7B 参数的稠密 Liquid Foundation Model，32k 上下文，Q4 量化下约需 4.1 GB 显存。针对边缘设备和 CPU 优化的通用聊天模型。
# HuggingFace : LiquidAI/LFM2.5-DSpark
| 名次 | 模型 | Params | Q4 VRAM | 上下文 | 许可证 | 在 RTX 3070 上 |
|---|---|---|---|---|---|---|
| #1 | OLMo 3 7B Think (SFT) | 7B | 4.2 GB | 16 000 | Apache 2.0 | 32 tok/s · Q8 |
| #2 | GLM 5.3 7B | 7B | 4.1 GB | 128 000 | MIT | 32 tok/s · Q8 |
| #3 | Granite 4.1 8B Instruct | 8B | 5 GB | 131 072 | Apache 2.0 | 12 tok/s · Q5_K_M |
| #4 | OLMo 3 7B | 7B | 5 GB | 8 192 | Apache 2.0 | 12 tok/s · Q5_K_M |
| #5 | Granite 4.2 8B | 8B | 4.6 GB | 128 000 | Apache 2.0 | 32 tok/s · Q5_K_M |
| #6 | LFM2.5 7B | 7B | 4.1 GB | 32 768 | LFM Open License v1.0 | 32 tok/s · Q8 |
| #7 | LFM2.5 DSpark | 7B | 4.1 GB | 32 768 | LFM Open License v1.0 | 32 tok/s · Q8 |
只需 1 小时，即可在您的电脑上拥有专属的免费 ChatGPT — LM Studio、Ollama、Open WebUI、您的文档，无需云端。
免费备忘录
接收速查表 显存 → 最佳代码模型 → Ollama 命令 （一屏即可查看，可直接复制粘贴）。再使用本地 Copilot 套件，搭建真正可用的运行环境。
本地副驾驶套件 — 可直接粘贴使用的 Ollama + Cline + Aider 配置、调校好的 Modelfiles、故障排除、可终身使用的在线空间 →无垃圾邮件。1 次点击即可退订。你的数据保留在我们这里（绝不转售）。
你的显卡 → 最适合在本地运行的编程模型，以及准确的 Ollama 命令：
| 你的 VRAM | 典型 GPU / Mac | 推荐的代码模型 | Ollama 命令 |
|---|---|---|---|
| 8 GB | RTX 4060 / 3060 · M1-M2 16 GB | Qwen 3.5 9B (Q4, 6.6 GB — 256k ctx) | ollama run qwen3.5:9b |
| 12 GB | RTX 3060 12 GB / 4070 / 5070 | Qwen 3.5 9B (Q8, 11 GB) 或 Gemma 4 12B (7.6 GB) | ollama run qwen3.5:9b-q8_0 |
| 16 GB | RTX 5070 Ti / 4080 / 5080 · RX 9070 XT · M4 24 GB | Devstral 24B (Q4, 14 GB) — 专长是编程智能体任务 | ollama run devstral:24b |
| 24 GB | RTX 3090 / 4090 · RX 7900 XTX · M4 Pro 48 GB | Qwen 3.8 27B (Q4, 18 GB) — “接近 Copilot” | ollama run qwen3.8:27b |
| 32 GB | RTX 5090 | Qwen 3.6 35B-A3B (Q4, 23 GB) — 快速 MoE | ollama run qwen3.6:35b |
| 48 GB+ | Mac M4 Max 64 GB · M2 Ultra 128 GB | Qwen3-Coder 30B-A3B (Q8, 32 GB — 256k ctx) | ollama run qwen3-coder:30b-a3b-q8_0 |
-base : ollama run qwen2.5-coder:7b-base — 在这一特定用途上，它仍是标杆。⚠️ Qwen 3.8： 其推理强度默认设得很高，处理简单请求时会“过度思考”——请将其调低至 low (或在首次启动时关闭它)。⚠️ 许可证陷阱： Codestral 22B = Mistral Non-Production License（非生产用途许可证） → 禁止用于工作中的编程。Qwen 3.5/3.8、Gemma 4 和 Devstral 采用 Apache 2.0 许可证。💡 因内存不足而崩溃？请预留约 1.5 GB 的显存用于上下文，或将量化精度降低一档。🔌 要将其接入 VS Code： Cline （可处理多个文件的智能体）， Aider (CLI) 或 Tabby/Twinny (FIM 自动补全) — 它们都连接到本地 Ollama。该套件 本地助手 — 可直接粘贴的配置 + 经过测试的设置 — 现已可用： /copilote-local.
筛选条件：Q4_K_M ≤ 7 GB。3–9B 模型加分。448 GB/s：入门表现尚可。
考虑的标准：
评分完全透明：请参阅 我们的方法论 ，了解 VRAM/每秒令牌数的计算详情。
3070 8 GB 在 2026 年是否仍然适用？
可以，二手价格约为 200–250 欧元。Mistral 7B Q4（约 4.5 GB）的速度为 30 tok/s，Phi-4 Mini 为 45+ tok/s。运行 13B 及以上模型时，8 GB 显存是限制因素。参见 guide.
运行 LLM，选 3070 还是 3060 12 GB？
运行LLM时，3060 12 GB更胜一筹：多出的4 GB显存可支持13–14B模型的Q4量化版本。3070运行7B模型时仍更快（448与360 GB/s）。应根据优先需求选择。参见 3060 12GB.
3070 显卡该选哪种量化？
7B 选用 Q5_K_M（质量最佳，约 5.5 GB）。8–9B 选用 Q4_K_M（约 5–5.5 GB）。避免勉强使用 Q3 量化的 13B 模型——质量会下降。
是否需要升级到 5060？
5060 = 同样配备 8 GB 显存，但采用带宽为 448 GB/s 的 GDDR7 + Blackwell 神经引擎 = 性能提升 60%。如果 LLM 是主要用途，且能接受约 340 欧元的全新显卡价格，那么这次升级值得考虑。详见 RTX 5060.