6 GB VRAM 下适合使用哪个 LLM？ ?

#6 GB 能做什么：完整的内存用量计算

显存不仅存储权重，还包含上下文缓存（随对话增长）、计算引擎的缓冲区，以及在 Windows 系统中部分显示和浏览器内容。对于 6 GB 显存的显卡，模型及其缓存的可用预算约为 5 到 5.5 GB，其余空间被系统占用。该网站对 Q4 量化权重的参考值为：3B ≈ 2 GB，7-8B ≈ 5 GB。

模型尺寸来自 QuelLLM 目录和 Ollama 库。'边距'列是估算值：它假设可使用 5.5 GB 空间，具体取决于您的系统和应用程序。理论上 8B 模型是可行的，但留给缓存的内存不足一吉字节：上下文设置决定了体验是否流畅，或是否出现层溢出至处理器的情况。

#三块 6GB 显卡，三种速度：带宽

生成速度的上限取决于内存带宽除以生成每个 token 时读取的权重大小。因此，两块 6 GB 显卡并不等效。根据维基百科关于 GeForce 20 这一代显卡的表格，RTX 2060 6 GB 配备 192 位总线，带宽为 336 GB/s。较新的 RTX 3050 6 GB 只有 96 位总线（来源：NVIDIA），而根据同一百科，其带宽为 168 GB/s，即前者的一半。

这些上限从来都达不到，而且我们没有可引用的这些显卡的实测数据：实际百分比取决于推理引擎、上下文和显卡。但 2:1 的比例仍然成立。因此，对于本地 AI，二手 RTX 2060 尽管年代较早，速度仍比全新的 RTX 3050 6 GB 更快，而新显卡的优势只有能效和较新的功能。对于 GTX 1660，具体版本很重要：请核实确切型号，因为显存和总线会因型号而异。

• 在RTX 2060上运行哪个LLM
• 在RTX 3050上使用哪个LLM
• GTX 1650 / 1660 上适合运行哪个 LLM
• 在GTX 1060上能运行哪个LLM？

#6 GB 显存下各用途的合适模型

聊天、问答、写作

30 亿至 40 亿参数的模型，如 Qwen 3.5 4B 或 Phi-4 Mini：回答质量不错、速度快，上下文长度也较为充裕。若想获得更好的法语表现，可尝试采用 Q4 量化的 80 亿参数模型，并缩短上下文。

代码

用一个 3B 至 7B 的小型代码模型做自动补全，再用一个 4B 的通用模型做解释。不要指望这种规模的模型能充当可靠的编程智能体。

RAG 与文档

一个 40 亿参数的模型加上一个轻量级嵌入模型：全部都能装入内存。上下文是限制因素：请发送较短的文本片段。

视觉与音频支持

存在轻量级多模态模型，但图像编码器会额外消耗内存，超出模型本身的内存占用：建议使用2至4B的模型进行测试。

一个常见误区：像 Qwen3-Coder 30B-A3B 这样的 MoE 只激活 30 亿参数，这让人误以为它们能放进 6 GB 显存。事实并非如此：所有专家都必须驻留内存，模型文件大小为 19 GB。使用它们的唯一办法是让专家留在 CPU 端，这需要大量系统内存，并会大幅牺牲运行速度。MoE 指南解释了这一原理。

#GPU 和 CPU 混合模式：有用，但并非万能

当模型大小超过显卡的显存容量时，Ollama 和 llama.cpp 可以将部分层交给 CPU 处理。这样就能在显存为 6 GB 的显卡上加载一个 9B 模型，但速度会阶梯式下降：留在系统内存中的层只能按系统内存的速度读取，远低于显存的读取速度。对于 MoE 模型，llama.cpp 提供了 --n-cpu-moe 选项，将某些层的专家留给 CPU 处理，并把最常参与计算的部分留在显卡上。llama.cpp 仓库的一位用户报告，在配备双通道 DDR4-3200 内存的机器上运行 gpt-oss-20b、并将所有专家交给 CPU 处理时，速度约为每秒 20 个 token，同时释放了大部分显存。

这一用户反馈表明，这种方法可行，但并不意味着它适合你的电脑。运行这种规模的模型需要 32 GB 系统内存，其吞吐量取决于系统内存带宽。对于在 6 GB 显存上进行的日常使用，将一个 4B 模型完全加载到显卡上仍然更简单、更快。

#6 GB 显存下的五项关键设置

1. 01
   限制上下文

   Ollama 的常见问题解答指出，默认上下文窗口为 4096 个 token，可进行调整。在显存为 6 GB 的情况下，逐档增大上下文窗口（6000、8000），并监控内存使用情况：每提高一档，都会增加缓存占用。
2. 02
   量化K/V缓存

   根据Ollama的FAQ，启用Flash Attention后，设置OLLAMA_KV_CACHE_TYPE=q8_0可使缓存占用的内存相比f16减少约一半。这是腾出更多内存余量的首要手段。
3. 03
   关闭消耗VRAM的进程

   启用硬件加速的浏览器、游戏、视频剪辑软件都会占用显存。只有 6 GB 显存时，一次只进行一项使用 GPU 的任务。
4. 04
   使用 ollama ps 检查

   Processor 列显示模型加载到了哪里：目标是显示 100 % GPU。只要模型分布在 CPU 和 GPU 两端，就说明显存装不下，需要将部分模型放到系统内存中，运行速度也会更低。
5. 05
   选择量化方式

   Q4_K_M 是一个不错的折中选择；对于 4B 模型，由于显存还有余量，您可以使用 Q5 或 Q6 来提升质量。量化指南详细介绍了这些差异。

OLLAMA_FLASH_ATTENTION=1
OLLAMA_KV_CACHE_TYPE=q8_0
OLLAMA_CONTEXT_LENGTH=6144

这些变量应在 Ollama 服务的环境中设置（Linux 下使用 systemd，Windows 下使用系统环境变量，macOS 下使用 launchctl）。Ollama GPU 错误排查指南详细说明了模型无法加载到显卡时需要检查的内容。

• 量化KV缓存
• 选择量化方案
• 修复 Ollama 的 GPU 错误
• MoE 模型原理详解

#诊断：为什么使用 6 GB 显存的显卡时生成速度会变慢

在 6 GB 显存的显卡上，如果出现突然变慢的情况，原因几乎总是相同的：模型或缓存的一部分已经被移出显卡。下表将观察到的症状与可能的原因及应优先尝试的解决办法对应起来。

最后再谈一点质量问题：模型越小，在需要精确知识或长时间推理的任务上就越容易出错。只有6 GB显存时，最好让模型完成它擅长的任务（改写、总结您提供的文本、根据您提供的片段回答、分类、提取字段），而不是凭记忆回答事实性问题。对于小模型，在对话中提供原始文本，而不是依赖模型“知道”的内容，是取得最佳效果的做法，而且短上下文也能采用这种方式。

#升级到 8 GB 或 12 GB：每档容量能带来哪些新可能

最划算的升级是从6 GB提升到12 GB。在12 GB显存下，Q4量化的8–9B模型（5至6 GB）能容纳较长的上下文，Q4量化的14B模型（约9 GB）也可以运行。在8 GB显存下，8B模型终于能装下，而且还有余量，但14B模型仍然无法运行。不要在本页面查找价格：价格每周都会变动，网站的价格跟踪会记录每张显卡的最低价。

• 本地 AI 显卡价格追踪
• 8 GB VRAM 适合哪个 LLM
• 12 GB 显存适合运行哪个 LLM
• 来源：Ollama 模型库，Qwen3
• 来源：Ollama 官方 FAQ
• 来源：llama.cpp 中关于 gpt-oss 和 --n-cpu-moe 的讨论

#常见问题