本地部署 Kimi K2:1 万亿参数 MoE 模型在…… soi

在本地使用 llama.cpp 运行 Kimi K2,就是在个人工作站上运行一个拥有万亿参数的 MoE 模型。这一壮举依赖两个关键因素:每个 token 仅激活 32B 参数(其余参数处于休眠状态),而 llama.cpp 能通过 mmap 将未激活的权重留在 SSD 上。本指南将详细介绍硬件配置、Q2_K_S 量化、磁盘卸载以及可以期待的实际性能数据。
#为什么要在本地运行 Kimi K2
Kimi K2 是 Moonshot AI 的旗舰模型,以开放权重(Modified MIT 许可证)发布,采用 MoE(混合专家)架构,总参数达 1 万亿,每个 token 激活约 32B 参数。在推理和代码基准测试中,其表现可与闭源前沿模型相媲美,其长上下文(宣称支持 128k tokens)使其成为大规模文档分析的有力候选者。
18 个月前,在本地运行这么大的模型还只是幻想。三项进展改变了局面:大容量 DDR5 内存的普及(花几百欧元即可获得 192–384 GB)、顺序读取速度可达 7 GB/s 的 NVMe Gen 4 SSD,以及 llama.cpp 团队在 Q2_K_S 和 IQ1_M 等极低位宽量化方面的工作。
#理解 MoE:1T 总参数 / 32B 活跃参数
借助我们的经验和引导式路径,打造你的本地助手,在日常中使用你的 AI。
- 在线空间,终身可用
- PDF + 文件
- 30 天内退款
MoE 架构将稠密的 FFN 模块替换为一个由多个专家组成的层(通常有 256 个以上的专家),路由器针对每个 token 从中选择 8 到 12 个专家。计算时,只处理被选中的专家的参数——这就是约 32B 个“活跃”参数的由来。但在内存方面,所有专家都必须能够被寻址访问,否则路由器就无法访问模型中 95% 的部分。
- 总参数量
- 约 1 万亿(1T)。这是驻留在 RAM 或磁盘上的部分。
- 每个 token 的激活参数量
- ≈ 320 亿。这决定了计算量和速度。
- 每层的专家
- 数百个专家,每个 token 都会被路由到其中固定数量的专家(top-k 路由)。
- 共享层(注意力)
- 始终处于激活状态。在上下文较短时,它们占据主要的内存开销。
- KV 缓存
- 随上下文长度线性增长。在 128k 上下文下,KV 缓存即使经过量化,也可能超过 30 GB。
#所需显存预算
计算 1T MoE 模型的内存需求时,可将其分为三个独立部分。在花钱购买 RAM 或 SSD 之前,理解这三个部分至关重要。
- 模型权重(已量化)
- Q2_K_S ≈ 245 GB,Q3_K_S ≈ 320 GB,Q4_K_M ≈ 480 GB,Q8_0 ≈ 1 TB。模型权重是占用空间最多、也最容易压缩的部分。
- KV 缓存(上下文)
- 按 FP16 每个 token 约 0,25 MB、Q8 每个 token 约 0,12 MB 计算。也就是 Q8 下 128k tokens 需要 32 GB。可通过 --cache-type-k/-v 配置。
- 激活缓冲区
- 每个 GPU 需要几 GB 用于中间计算。在 24 GB GPU 上,这部分开销虽小却不应忘记。
#硬件要求
三类机器配置都可以在本地运行 Kimi K2,但在速度方面需要作出的取舍差异很大。
- 配置 A — 高性能 DDR5(192–384 GB 内存)
- Threadripper/Xeon W 工作站或 EPYC 平台。256 GB DDR5 ECC 内存,不强制要求 GPU。在 Q2_K_S 量化下,模型能完全放入系统内存。纯 CPU 运行的预期速度:4–8 token/秒。
- 配置 B — DDR5 + 1 个 24 GB GPU
- 96–128 GB 系统内存 + RTX 4090/3090。将共享层转移到 GPU 上运行,专家保留在系统内存中。预期速度:6–12 token/秒,具体取决于显存中能容纳多少个专家。
- 配置 C — 内存较少 + NVMe SSD
- 64–96 GB 内存 + NVMe Gen 4(读取速度 7 GB/s,至少剩余 1 TB)。将权重通过 mmap 从 SSD 映射。预期速度:1–3 tok/s,高度取决于 SSD 的实际吞吐量。
#1. 使用正确的后端编译 llama.cpp
Kimi K2 需要较新的 llama.cpp 版本(2025 年 12 月之后的近期构建),该版本需支持其 MoE 架构和 IQ 量化。我们从官方仓库编译。
在搭载 Apple Silicon 芯片的 Mac 上,将 GGML_CUDA 替换为 GGML_METAL。在使用 ROCm 的 AMD 平台上,则替换为 GGML_HIP。GGML_CUDA_FA_ALL_QUANTS 标志可为所有量化类型启用 Flash Attention——要容纳 128k 上下文且不超出显存容量,这是必不可少的。
#2. 选择 GGUF 量化方式
对于这种规模的模型,除非拥有 512 GB RAM,否则就别考虑 Q4_K_M 及更高精度的量化。极端量化——Q2_K_S、IQ2_XXS,甚至 IQ1_M——让本地运行成为可行方案,代价是可测量的质量损失,但对 MoE 模型而言通常可以接受。
- Q2_K_S(约 245 GB)
- 最佳平衡点。代码基准测试性能下降约 5%,推理性能下降约 3%。如果您有 256 GB 内存或快速 SSD,推荐采用此方案。
- IQ2_XXS(约 210 GB)
- 通过 importance matrix 进行更激进的处理。配合少量 offload,可在 192 GB 内存上运行。质量低一个档次。
- IQ1_M(约 155 GB)
- 混合 1 位量化。适用于资源极度受限的配置。质量下降明显,但模型的输出仍然连贯。
- Q3_K_S(约 320 GB)
- 接近 Q4 的质量,但需要 384 GB RAM。适合配置完善的 EPYC 工作站。
这种大小的 GGUF 会拆分成多个文件(split-00001-of-00007.gguf 等)。只要指定第一个文件,llama.cpp 就会自动检测这些分片。
#3. 使用 mmap 和 offload 启动 Kimi K2
基础命令使用 llama-server,即 llama.cpp 提供的 HTTP 服务器。默认情况下,它在 8080 端口暴露兼容 OpenAI 的 endpoint。
使用配备 24 GB 显存的 GPU 时,将共享层(注意力层)的计算交给 GPU,并将 MoE 专家保留在 RAM 或 SSD 中。-ot 参数可以精确指定哪些部分放到 GPU 上,哪些放到 CPU 上。
传给 -ot 的正则表达式表示:“所有专家的 FFN(前馈网络)层(MoE 模型的主体部分)都保留在 CPU/RAM 上,其余部分放到 GPU 上。”正是这一技巧让混合运行成为可行方案:利用 GPU 进行注意力计算,而不必将整个模型都加载到 GPU 上。
#4. 实测生成速度(token/秒)
以下是实际使用中观察到的一些吞吐量参考值。数值会随提示词(预填充阶段较慢,生成阶段更稳定)以及操作系统页缓存的状态而变化。
- EPYC 9354P,384 GB DDR5,Q2_K_S,全部加载到系统内存中
- Prefill ~80 tok/s,生成 ~6-8 tok/s。用于批量推理的参考配置。
- Threadripper 7960X、256 GB DDR5、Q2_K_S
- Prefill 约 50 tok/s,生成约 4-6 tok/s。DDR5 内存延迟占主导。
- Ryzen 9 7950X、128 GB DDR5 + NVMe Gen 4 SSD
- 预填充约 15 tok/s,生成约 1.5–3 tok/s。一旦超出可驻留在 RAM 中的范围,SSD 就会成为瓶颈。
- Mac Studio M2 Ultra 192 GB
- 使用 IQ2_XXS 时生成速度约为 4-7 tok/s。统一内存带宽(800 GB/s)对 MoE 的帮助非常大。
- 256 GB 工作站 + RTX 4090(混合型)
- 预填充约 60 tok/s,生成约 7-10 tok/s。GPU 处理注意力机制会将预填充时间减半。
#5. 128k 上下文使用场景
与 7B 至 70B 的本地模型相比,Kimi K2 的一大优势是拥有 128k token 的上下文窗口。具体来说,您可以向它输入一份完整的年度报告、一个中等规模的代码库,或约一百页 PDF,并让它在掌握全部内容的基础上生成综合摘要,而不是采用分块 RAG。
- 长文档综合
- 一份 300 页的报告不到 12 万 tokens。Kimi K2 一次处理就能生成结构化摘要,而 RAG 则会将片段拼接起来。
- 代码库重构
- 加载 50 个 Python 文件(约 8 万个 token),要求进行一套前后一致的架构审查。对于涉及代码库多个部分的技术债务,这非常有用。
- 日志关联分析
- 粘贴 50 MB 的日志(已过滤),并要求生成事件时间线。模型能看到所有关联,而不只是滑动窗口内的关联。
- 长篇文档翻译
- 在整本书中保持术语一致,而按块翻译则会丢失上下文线索。
#故障排除
- 「failed to load model」或魔数错误
- 你的 llama.cpp 版本对于此 GGUF 文件来说太旧了。请更新到 2025 年 12 月之后的构建版本,并检查 GGUF 重新打包者声明的架构版本。
- 内存容量本应足够,生成速度却只有 0.2 token/秒
- 在尚未访问完所有内存页之前,内核会持续从 GGUF 文件按页载入数据。先用一条简短提示词进行一次“预热运行”,可预加载常用的内存页。否则,请增大 --threads 参数,以便更早达到带宽饱和。
- 使用长提示词时突然出现 OOM
- KV 缓存急剧膨胀。请将 --ctx-size 降至 32768,或启用缓存的 Q8 量化。KV 缓存随上下文长度线性增长,而不是随模型大小线性增长。
- 输出内容不连贯或语言表达混乱
- 通常是聊天模板不正确导致的。请检查 --chat-template,或确认 GGUF 中确实包含 Moonshot 官方模板(jinja)。错误的结束 token 会导致输出反复失控。
- SSD 温度高达 80°C,吞吐量骤降
- 高端 NVMe 固态硬盘在没有散热器时会因过热而降速。长时间运行时,请加装散热器,或切换到体积更小、能装入 RAM 的量化版本,以降低负载。
#深入了解
在本地运行 Kimi K2,为探索超大模型提供了一个实验场。以下是进一步探索的三个方向:
- 掌握 llama.cpp 的构建
- 《使用 CUDA 编译 llama.cpp》指南详细介绍了一些不太容易注意到的参数(张量卸载、MMQ、Flash Attention),这些参数会影响此类模型的性能。
- 了解量化
- 《选择量化方式》指南介绍了深入研究 IQ2_XXS 或 Q3_K_S 之前需要掌握的概念基础,并说明究竟哪些方面会受到影响而退化。
- 进一步提高压缩程度
- TurboQuant 指南详细介绍了一种比 K-quants 更新的方法,可让前沿模型装入消费级硬件的内存,但需要作出不同的取舍。
有反馈、发现了错误,或想补充说明?请告诉我们,让这份指南对每个人都更有帮助。