🇨🇳 Qwen 3.8 27B
Qwen 3.8 27B:稠密多模态模型(文本 + 视觉),262k 上下文,Q4 约需 16 GB 显存(Ollama 权重为 18 GB)。Apache 2.0,支持智能体式编程和视觉。
ollama run qwen3.8:27b
排名更新于 22/10/2026
最适合 RAG 的 LLM 排名:长上下文窗口(≥ 32k tokens,可处理多份文档)、基于所提供来源进行综合归纳的质量,以及对干扰信息(提示词中不相关的信息)的鲁棒性。
Qwen 3.8 27B:稠密多模态模型(文本 + 视觉),262k 上下文,Q4 约需 16 GB 显存(Ollama 权重为 18 GB)。Apache 2.0,支持智能体式编程和视觉。
ollama run qwen3.8:27b
Cohere 的 30.5B 模型,面向智能体编程和推理。上下文 488k,Apache 2.0,Q4 量化下约需 18 GB 显存。
ollama run north-mini-code-1.0
Cloudflare 的 27B 稠密多模态模型,Apache 2.0,256k 上下文,约 16 GB VRAM Q4:在 16 GB 显卡上实现视觉与推理,官方标签为 Ollama。
ollama pull clef
GLM-4.7-Flash(MoE 31B,约 3B 激活参数):在 30B 级别中,编程能力与显存占用之比最佳。MIT 许可证,128k 上下文,在 3090/4090 上速度非常快。
ollama run glm-4.7-flash
27B 稠密多模态模型,2026 年 4 月 22 日发布。262k 上下文(1M YaRN)。SWE-bench Verified 77.2%。
ollama run qwen3.6:27b
DiffusionGemma 26B(Google):基于扩散的 Gemma 视觉语言模型,指令微调版,128k 上下文,Q4 量化下占用 15 GB 显存。Apache 2.0 许可证。2026 年 6 月发布。
# HuggingFace : google/diffusiongemma-26B-A4B-it
Gemma 4 的 MoE 变体。总参数量 26B,激活参数量 4B。完整多模态(文本+图像+音频)。
ollama run gemma4:26b
| 名次 | 模型 | Params | Q4 VRAM | 上下文 | 许可证 |
|---|---|---|---|---|---|
| #1 | Qwen 3.8 27B | 27B | 16 GB | 262 144 | Apache 2.0 |
| #2 | North Mini Code 1.0 | 30.5B | 18 GB | 488 000 | Apache 2.0 |
| #3 | Clef 27B | 27B | 16 GB | 262 144 | Apache 2.0 |
| #4 | GLM 4.7 Flash | 31B | 19 GB | 128 000 | MIT |
| #5 | Qwen 3.6 27B | 27B | 16 GB | 262 144 | Apache 2.0 |
| #6 | DiffusionGemma 26B-A4B Instruct | 26B | 15 GB | 128 000 | Apache 2.0 |
| #7 | Gemma 4 26B-A4B MoE | 26B | 16 GB | 128 000 | Apache 2.0 |
你的文档,你的 AI:基于你的 PDF、笔记和邮件的可靠本地 RAG——无需向云端发送任何内容。
我们保留上下文至少为 32k token 的聊天/通用模型(这是实现有效分块所必需的)。评分偏向较新的模型、较大的上下文窗口以及宽松许可证(适用于企业部署)。
考虑的标准:
评分完全透明:请参阅 我们的方法论 ,了解 VRAM/每秒令牌数的计算详情。
要取得良好的 RAG 效果,需要多长的上下文?
至少需要 32k token,才能处理 5-10 个约 2k token 的文本块加上提示词。理想值:128k token(Qwen 3.8 27B 支持 262,144),可容纳完整文档而无需激进分块。
在配备 24 GB 显存的 RTX 4090 上做 RAG,该选哪个模型?
Mistral Small 3.1 24B 采用Q4_K_M量化,或 Qwen 2.5 32B 采用Q4量化时可在24 GB内运行。对于Llama 3.3 70B,则需要降至Q2/Q3量化,或增加第二块显卡。
应该将哪个 embedding 与这些 LLM 配合使用?
对于法语: BGE-M3, multilingual-e5-large,或 Mistral 的嵌入模型。参见 嵌入指南 FR.
推荐使用哪种本地 RAG 技术栈?
Ollama (LLM 服务器)+ ChromaDB 或 Qdrant (向量存储)+ LlamaIndex 或 LangChain (编排)。请参阅 完整指南.