Qwen 3.6 27B 本地运行:各 量化

#Qwen 3.6 27B:简短回答

要使用 Qwen 3.6 27B 而不溢出到处理器,请准备一张 24 GB 显存的显卡,或一台至少有 32 GB 统一内存的 Mac。24 GB 的 Mac 可以用于试用,但上下文要短,并且尽量少开其他应用。低于此配置时,模型仍可能加载成功,但部分计算会转到处理器上执行。

Commande

ollama run qwen3.6:27b. Le tag existe dans la bibliothèque officielle d'Ollama (relevé du 5 septembre 2026).

文件

Ollama 上为 18 GB(2026 年 9 月 29 日记录);LM Studio 页面上为 16,10 GB(2026 年 9 月 5 日记录)。

其他量化版本

根据 QuelLLM 目录,Q5 约为 19 GB,Q8 约为 29 GB,FP16 约为 54 GB。这些都是估算值,并非官方文件大小。

上下文

Ollama 在显存低于 24 GiB 时分配 4 k token,24 至 48 GiB 时分配 32 k,48 GiB 及以上时分配 256 k。任何上调都会在文件大小之外额外占用内存。

检查习惯

ollama ps：只要 PROCESSOR 列没有显示 100% GPU，就说明模型超出了显存容量。

#你要安装的内容

Qwen 3.6 27B 是阿里巴巴推出的稠密模型，于 2026 年 4 月以 Apache 2.0 许可证发布。“稠密”表示每个 token 的计算都会用到它的 27B 个参数。Ollama 模型页列出的能力包括视觉、工具和推理（thinking），并标注最大上下文长度为 256 k tokens。完整规格见 /modele/qwen36-27b 页面；本指南只介绍内存需求和安装。

这款模型已不是同等规模中最新的型号：Qwen 3.8 27B 于 2026 年 8 月接替了它。如果你的提示词已经针对它调整过，或者你使用的工具在文档中引用了它，3.6 仍有价值。首次安装时，也可以参考我们的 Qwen 3.8 27B 指南；它有自己的标签和配置。

#Qwen 3.6 27B 各量化版本的内存需求

量化通过降低权重精度来缩小其体积。量化程度越高,文件越小,但也有质量下降的风险。下表特意将已发布的大小与目录估算值分开列出,因为这两类数字的可靠程度并不相同。

“文件大小 + 15 至 25%”这一列采用的是一条保守规则,与我们关于 Qwen 3.8 27B 的指南相同。它用于预估上下文缓存和引擎开销。这是计算结果,而非实测值:实际占用取决于所选的上下文、引擎以及同时运行的其他程序。

为什么是 18 GB 和 16.10 GB?

Ollama 和 LM Studio 分发的不一定是同一个包。根据我们的记录,无法确定造成差异的具体原因:请以您所用工具显示的数字为准。

为什么目录显示 Q4 为 16 GB?

这是根据参数数量得出的估算值。它只提供一个大致量级,比 Ollama 标示的文件大小低 2 GB。对于该标签,应以 Ollama 的数字为准。

一个比较基准

对于同等规模的模型 Qwen 3.8 27B,Ollama 公布的大小为:Q4_K_M 18 GB、Q8 30 GB、BF16 56 GB(2026 年 8 月 18 日记录)。这些数值针对的是另一个模型:它们只能反映趋势,不能代替对 3.6 的实际记录。

如果有多个版本都能装入你的内存,请先从 Q4_K_M 开始:这是 QuelLLM 上推荐的配置。只有当你自己的提示词暴露出可归因于量化的问题时,才需要升级。我们关于如何选择量化方式的指南对这一取舍有更全面的说明。

#需要为上下文预留的余量

文件大小只是起点。推理引擎还会为上下文窗口预留内存,也就是对话、文档和模型推理过程所占用的部分。官方标称的 256 k token 上下文是上限,并不是实际分配的大小。

显存低于 24 GiB

Ollama 从 4 k tokens 起步。这足以应付简短的对话,但不足以处理长文档。

24 至 48 GiB

默认 32 k tokens:属于 RTX 4090 的范围。

48 GiB 及以上

默认 256 k tokens。这一分配会占用大量空间:如果用不到,请将其调低。

智能体、代码、网页搜索

Ollama 建议这些用途至少使用 64 000 个 token。在 24 GB 上无法保证这个值可行:请用 ollama ps 进行测试。

风险来自两个方面。窗口太短时,引擎不得不舍弃部分输入,模型只能基于不完整的文本作答。窗口太长时,模型可能溢出到处理器上运行。由于没有针对该模型的实测数据,本指南不提供每一定数量 token 对应多少 GB 的数字:正确的做法是逐级调高。

1. 01
   从默认值开始

   用一个平时常用的请求运行模型,然后查看 ollama ps。记下内存占用、上下文大小以及 GPU/CPU 分配情况。
2. 02
   逐级上调

   例如从 8 k 增加到 16 k,再到 32 k 和 64 k token。每次更改后都要重新加载模型:上下文是在加载时确定的。
3. 03
   在内存溢出之前停止

   一旦 PROCESSOR 显示模型分布在 CPU 和 GPU 上,就退回上一档。如果还要发送图片,请留出一些余量,因为图片处理同样会占用内存。

OLLAMA_CONTEXT_LENGTH=32768 ollama serve

curl http://localhost:11434/api/generate -d '{
  "model": "qwen3.6:27b",
  "prompt": "Résume ce texte en trois points : ...",
  "stream": false,
  "options": { "num_ctx": 32768 }
}'

如果 Ollama 已作为服务运行,则必须在服务配置中设置该变量,因为在终端中执行命令不会改变服务的设置。Ollama 应用的设置中也提供了上下文滑块。

#你的机器够用吗?

内存表可以相当直接地对应到硬件配置。以下参考值针对 18 GB 的默认标签,它们由上述大小推算而来,并非实测结果:这里不提供任何速度数据。

RTX 3060 12 GB,RTX 4070 12 GB

文件超出了显存容量:模型将有一部分在处理器上运行。建议选择更小的模型,例如约 14B 规模的 Q4 版本(≈ 9 GB)。

RTX 4080 16 GB

18 GB 的文件仍然超出显存容量,加上上下文后的 LM Studio 16.10 GB 同样如此。借助 GPU/CPU 混合运行仍可使用,但体验并不流畅。

RTX 4090 24 GB

第一个合理的档位:在文件大小之外还留有约 6 GB,可供上下文和引擎开销使用。

Mac M4 Pro 24 GB

可用于试用:系统和应用程序与模型共用同一块内存。请使用较短的上下文,并关闭占用资源较多的应用程序。

Mac 32 至 48 GB

日常使用的合理之选,上下文也有充足余量。

无显卡

QuelLLM 目录估算所需的内存(RAM)为 28 GB。模型可以运行,但生成速度预计会比 GPU 慢得多。

还要预留磁盘空间:至少等于文件大小,如果要保留多个变体,则需留出更多余量。针对您的具体配置,QuelLLM 的配置器可给出初步估算,之后请用 ollama ps 确认。

#使用 Ollama 安装 Qwen 3.6 27B

如果您需要一个可通过 API 访问的本地服务,运行在 http://localhost:11434 上,并可选择以 Open WebUI 作为界面,那么 Ollama 是合适的选择。

1. 01
   安装或更新 Ollama

   在 Linux 上,请使用下方的官方脚本。在 macOS 和 Windows 上,请从 ollama.com 下载应用程序。旧版本可能无法识别该模型:一旦出错,首先应进行更新。
2. 02
   下载模型

   ollama pull qwen3.6:27b récupère le fichier. Si la connexion coupe, relancez la commande.
3. 03
   检查实际下载到的内容

   ollama show qwen3.6:27b affiche notamment la quantification, le contexte maximal et les capacités du paquet. C'est le moyen le plus sûr de savoir à quelle variante correspond le tag par défaut.
4. 04
   开始第一次对话

   权重加载到内存后才会返回第一条响应。模型加载期间,可在第二个终端中查看 ollama ps 的输出。

# Linux : installer ou mettre à jour Ollama
curl -fsSL https://ollama.com/install.sh | sh

# Télécharger le modèle
ollama pull qwen3.6:27b

# Vérifier la quantification, le contexte et les capacités
ollama show qwen3.6:27b

# Discuter avec le modèle
ollama run qwen3.6:27b

# Dans un second terminal : mémoire et répartition GPU/CPU
ollama ps

在 Apple Silicon 芯片的 Mac 上,模型库还提供面向 MLX 引擎的 qwen3.6:27b-mlx(2026 年 9 月 5 日记录)。其大小可能有所不同:选择前请查看标签页面。

#使用 LM Studio 安装

如果你更喜欢图形界面,可以选择 LM Studio,它能直观地设置上下文大小和卸载到 GPU 的层数。其官方页面的标识符为 qwen/qwen3.6-27b,标称大小为 16.10 GB,并确认支持工具调用、视觉和推理(2026 年 9 月 5 日核对)。

1. 01
   查找模型

   在模型搜索中输入 qwen/qwen3.6-27b。LM Studio 会列出可用版本,并突出显示它认为适合你硬件的版本。
2. 02
   选择格式

   PC 上选择 GGUF,Mac 上选择 MLX 或 GGUF。将显示的大小与你的内存进行比较,并保留上表中的余量。
3. 03
   调整加载设置

   加载模型之前,请调整上下文长度和 GPU 卸载设置。先从较小的值开始,再像使用 Ollama 时那样逐级调高。
4. 04
   监控内存

   用一个真实请求做测试,并观察内存占用。如果系统变慢,请先减小上下文,再考虑更换量化版本。

# Variante GGUF (--mlx sur Mac pour le format MLX)
lms get qwen/qwen3.6-27b --gguf

之后,您可以通过 LM Studio 的本地服务器将模型提供给其他应用使用:我们关于其 API 的指南详细介绍了这一步骤。如需在这两款工具之间做选择,请参阅我们的 Ollama 与 LM Studio 对比。

#Qwen 3.6 27B 还是 35B-A3B:原理层面的选择

这两个模型属于同一系列,但构建方式不同。27B 是稠密模型。35B-A3B 是 Mixture-of-Experts(MoE)模型:它共有 350 亿个参数,每个 token 约有 30 亿个处于激活状态。以下比较基于这一架构和已发布的大小,未经过基准测试。

内存

27B 占优:在 LM Studio 页面上为 16.10 GB,而对方为 20.40 GB(2026 年 9 月 5 日核对)。MoE 模型必须将所有专家保留在内存中,即使每个 token 只有少数专家在工作。

逐 token 计算

原理上 35B-A3B 占优:激活参数更少意味着每个 token 的计算量更小,前提是整个模型都能装入内存。实际差距取决于你的机器。

如果您的内存刚好处于 24 GB 的下限

27B 能为上下文留出更多空间。35B-A3B 留出的空间较少,在处理长文档时可能会有影响。

如果您有 32 GB 或更多

两者都能运行。请用您自己的任务进行测试:如果响应速度优先,选 35B-A3B;如果需要视觉能力,选 27B(其能力已得到我们记录的确认)。

许可证

两者均采用 Apache 2.0:这一项无法分出高下。

#故障排除

下载时出现“model not found”

请检查拼写:qwen3.6:27b,中间是一个点。如果某个量化后缀被拒绝,可能是它并不存在:请查看标签页面;如果该标签已列出,则更新 Ollama。

生成速度极慢

查看 ollama ps。如果显示 CPU/GPU 分摊,说明发生了溢出:请减小上下文、关闭占用 GPU 的应用,或换用更小的模型。

文档开头部分似乎被忽略

上下文很可能太短,尤其是在低于 24 GiB 时默认只有 4 k token 的情况下。请增大 num_ctx 或拆分文档。

OLLAMA_CONTEXT_LENGTH 设置不起作用

该变量必须作用于服务器,而不是客户端。修改后请重启服务,然后重新加载模型。

加载时出现内存错误

先调低上下文。如果错误仍然存在,请检查可用内存和已加载的模型数量:ollama stop qwen3.6:27b 可释放该模型。

大小与本指南不同

软件包可能会变化。请以当前的官方页面和工具显示的内容为准,然后留出同样的余量。

#深入了解

这些页面是对本指南的补充,不会重复其中的数字:模型页面提供规格信息,相关指南则介绍其他模型和基础概念。