首页 › 目录 › 2026 年用于 RAG 的最佳本地 LLM

2026 年用于 RAG 的最佳本地 LLM

◆ 本地RAG——用本地 AI 查询您的文档,无需云端 · 24 € · 或全部套件 49 € →

排名更新于 22/10/2026

最适合 RAG 的 LLM 排名:长上下文窗口(≥ 32k tokens,可处理多份文档)、基于所提供来源进行综合归纳的质量,以及对干扰信息(提示词中不相关的信息)的鲁棒性。

排名

1

🇨🇳 Qwen 3.8 27B

Alibaba · 27B 参数 · Apache 2.0 · 262 144 tokens ctx

Qwen 3.8 27B:稠密多模态模型(文本 + 视觉),262k 上下文,Q4 约需 16 GB 显存(Ollama 权重为 18 GB)。Apache 2.0,支持智能体式编程和视觉。

排名原因 262,144 个 token 的上下文——非常适合大规模语料库。27B 参数,有助于生成高质量的综合摘要。
ollama run qwen3.8:27b
Q4 VRAM
16 GB
Q8 格式下 29 GB
2

🇺🇸 North Mini Code 1.0

Cohere · 30.5B 参数 · Apache 2.0 · 488,000 tokens ctx

Cohere 的 30.5B 模型,面向智能体编程和推理。上下文 488k,Apache 2.0,Q4 量化下约需 18 GB 显存。

排名原因 488,000 token 的上下文窗口——非常适合大型语料库。305 亿参数,可实现高质量的综合总结。
ollama run north-mini-code-1.0
Q4 VRAM
18 GB
Q8 量化下为 33 GB
3

🇺🇸 Clef 27B

Cloudflare · 27B 参数 · Apache 2.0 · 262 144 tokens ctx

Cloudflare 的 27B 稠密多模态模型,Apache 2.0,256k 上下文,约 16 GB VRAM Q4:在 16 GB 显卡上实现视觉与推理,官方标签为 Ollama。

排名原因 262,144 个 token 的上下文——非常适合大规模语料库。27B 参数,有助于生成高质量的综合摘要。
ollama pull clef
Q4 VRAM
16 GB
Q8 格式下 29 GB
4

🇨🇳 GLM 4.7 Flash

Zhipu AI · 31B 参数 · MIT · 128 000 tokens ctx

GLM-4.7-Flash(MoE 31B,约 3B 激活参数):在 30B 级别中,编程能力与显存占用之比最佳。MIT 许可证,128k 上下文,在 3090/4090 上速度非常快。

排名原因 128,000 个 token 的上下文窗口——非常适合大型语料库。310 亿参数,可提供高质量的信息综合。
ollama run glm-4.7-flash
Q4 VRAM
19 GB
Q8 格式下 35 GB
5

🇨🇳 Qwen 3.6 27B

Alibaba · 27B 参数 · Apache 2.0 · 262 144 tokens ctx

27B 稠密多模态模型,2026 年 4 月 22 日发布。262k 上下文(1M YaRN)。SWE-bench Verified 77.2%。

排名原因 262,144 个 token 的上下文——非常适合大规模语料库。27B 参数,有助于生成高质量的综合摘要。
ollama run qwen3.6:27b
Q4 VRAM
16 GB
Q8 格式下 29 GB
6

🇺🇸 DiffusionGemma 26B-A4B Instruct

Google · 26B 参数 · Apache 2.0 · 128 000 tokens ctx

DiffusionGemma 26B(Google):基于扩散的 Gemma 视觉语言模型,指令微调版,128k 上下文,Q4 量化下占用 15 GB 显存。Apache 2.0 许可证。2026 年 6 月发布。

排名原因 128,000 个 token 的上下文——非常适合大型语料库。26B 参数,可实现高质量的归纳总结。
# HuggingFace : google/diffusiongemma-26B-A4B-it
Q4 VRAM
15 GB
Q8 下为 28 GB
7

🇺🇸 Gemma 4 26B-A4B MoE

Google · 26B 参数 · Apache 2.0 · 128 000 tokens ctx

Gemma 4 的 MoE 变体。总参数量 26B,激活参数量 4B。完整多模态(文本+图像+音频)。

排名原因 128,000 个 token 的上下文——非常适合大型语料库。26B 参数,可实现高质量的归纳总结。
ollama run gemma4:26b
Q4 VRAM
16 GB
Q8 下为 28 GB

对比表

名次 模型 Params Q4 VRAM 上下文 许可证
#1 Qwen 3.8 27B 27B 16 GB 262 144 Apache 2.0
#2 North Mini Code 1.0 30.5B 18 GB 488 000 Apache 2.0
#3 Clef 27B 27B 16 GB 262 144 Apache 2.0
#4 GLM 4.7 Flash 31B 19 GB 128 000 MIT
#5 Qwen 3.6 27B 27B 16 GB 262 144 Apache 2.0
#6 DiffusionGemma 26B-A4B Instruct 26B 15 GB 128 000 Apache 2.0
#7 Gemma 4 26B-A4B MoE 26B 16 GB 128 000 Apache 2.0
本地 RAG 套件

你的文档,你的 AI:基于你的 PDF、笔记和邮件的可靠本地 RAG——无需向云端发送任何内容。

  • 在线空间,终身可用
  • PDF + 文件
  • 30 天内退款

排名方法论

我们保留上下文至少为 32k token 的聊天/通用模型(这是实现有效分块所必需的)。评分偏向较新的模型、较大的上下文窗口以及宽松许可证(适用于企业部署)。

考虑的标准:

  • 上下文 ≥ 32k tokens
  • 信息归纳质量
  • 对干扰项的鲁棒性
  • 自由许可证

评分完全透明:请参阅 我们的方法论 ,了解 VRAM/每秒令牌数的计算详情。

常见问题

要取得良好的 RAG 效果,需要多长的上下文?

至少需要 32k token,才能处理 5-10 个约 2k token 的文本块加上提示词。理想值:128k token(Qwen 3.8 27B 支持 262,144),可容纳完整文档而无需激进分块。

在配备 24 GB 显存的 RTX 4090 上做 RAG,该选哪个模型?

Mistral Small 3.1 24B 采用Q4_K_M量化,或 Qwen 2.5 32B 采用Q4量化时可在24 GB内运行。对于Llama 3.3 70B,则需要降至Q2/Q3量化,或增加第二块显卡。

应该将哪个 embedding 与这些 LLM 配合使用?

对于法语: BGE-M3, multilingual-e5-large,或 Mistral 的嵌入模型。参见 嵌入指南 FR.

推荐使用哪种本地 RAG 技术栈?

Ollama (LLM 服务器)+ ChromaDB 或 Qdrant (向量存储)+ LlamaIndex 或 LangChain (编排)。请参阅 完整指南.

深入了解

QuelLLM 套件 按用途分类的参考指南
所有套件,终身使用 — 49 €