llama.cpp:是什么,是否需要放弃使用 Ollama ?

llama.cpp(也写作 llamacpp 或 llama cpp)是一个用 C 和 C++ 编写的引擎,可在 CPU 和 GPU 上运行 GGUF 模型;Ollama、LM Studio 和 KoboldCpp 都基于它。2026 年 11 月 13 日发布的 1.0.0 版本主要为开发者稳定了 API。继续使用 Ollama 仍然合理;如果想自行调整内存、上下文和 KV 缓存,则值得改用 llama.cpp。
llama.cpp(也写作 llamacpp 或 llama cpp)是一个用 C 和 C++ 编写的引擎,可在 CPU 和 GPU 上运行 GGUF 模型;Ollama、LM Studio 和 KoboldCpp 都基于它。2026 年 11 月 13 日发布的 1.0.0 版本主要为开发者稳定了 API。继续使用 Ollama 仍然合理;如果想自行调整内存、上下文和 KV 缓存,则值得改用 llama.cpp。
#llama.cpp 简介
该项目由 Georgi Gerganov 于 2023 年 3 月发起,目标很简单:在 MacBook 上运行 Meta 的 LLaMA 模型,无需 Python,也没有繁重的依赖。项目采用 MIT 许可证发布。代码仓库已迁至 ggml-org 组织名下,并于 2026 年 11 月 13 日发布了 1.0.0 版本。官方公告称支持超过 150 种架构变体,而 2023 年 8 月定义的文件格式 GGUF 已成为分发量化模型的事实标准。
两个技术选择解释了这一成功。第一个是量化:llama.cpp 能使用压缩为 2 至 8 位的权重运行模型,使一个 80 亿参数的模型只需 5 GB,而不是 16 GB。第二个是在处理器和显卡之间分配计算:当模型无法完全装入显存时,一部分层留在系统内存中,其余层放到 GPU 上。这样运行比完全加载到 GPU 上更慢,但确实可行,而且提供这一功能的引擎很少。
你可能会看到它被写作 llama.cpp、llama cpp、llamacpp,甚至“lama.cpp”:这些都是同一个项目。如果你搜索的是“ollama cpp”或“llm.cpp”,指的其实就是 llama.cpp;Ollama 则是另一款软件,它尤其依托于 llama.cpp。
#llama.cpp 1.0.0:对你意味着哪些变化
借助我们的经验和引导式路径,打造你的本地助手,在日常中使用你的 AI。
- 在线空间,终身可用
- PDF + 文件
- 30 天内退款
2026 年 11 月 13 日,该项目发布了 llama.cpp 和 ggml 库的 1.0.0 版本。其明确目标是为开发者提供稳定的 API:今后,C API 的不兼容变更将按照语义化版本规范,通过主版本号的变化来宣布。因此,对于只是运行 llama-server 的用户来说,可见的变化与其说是新界面,不如说是一个更清晰的框架。
- 官方安装程序
- README 提供了一个单行脚本(macOS、Linux、Windows),用于安装 llama 命令,其中 llama cli 用于在终端中对话,llama serve 用于启动兼容 OpenAI 的服务器。该脚本会自行选择 Metal、CUDA、ROCm、Vulkan 或 CPU 版本。Homebrew、winget、conda-forge、MacPorts 和 Nix 仍然可用。
- FP8 KV 缓存
- -ctk 和 -ctv 选项现已支持 f8_e4m3,此外还支持 f16、bf16、q8_0 以及 4 位和 5 位格式。好处是:在长上下文场景下减少缓存占用的内存。
- MoE 模型的专家缓存
- 为混合专家(MoE)模型新增了位于主机内存中的专家缓存;当所请求的专家不在缓存中时,部分计算交由 CPU 完成。
- 加固的服务器
- 无需认证的工具以及媒体的私有地址,现在都需要显式启用(--allow-unauthenticated-tools、--media-allow-private-urls)。CORS 访问、DNS 重绑定防护以及 Hugging Face 令牌的处理也都已收紧。
- 语音与音频
- 服务器为具备语音输出能力的模型新增了一个 OpenAI 兼容的 /v1/audio/speech 端点,并支持 Gemma 4 的流式音频输入。
- 重新设计的 Web 界面
- 重新整理的侧边栏、分组的聊天、带 Markdown 预览的输入编辑器、适配手机的布局。
- 已移除的内容
- 已弃用的公共 API,包括 --defrag-thold 选项。如果您的某个脚本仍在传入该选项,请将其删除。
- llama-server:搭建本地 OpenAI API
- Ollama 与 llama.cpp:完整对比
- llama.cpp 1.0.0 官方版本说明
- Hugging Face 上的 llama.cpp 1.0 发布公告
#其中包含什么
- llama
- 官方脚本安装的单一命令:llama cli 用于在终端中聊天,llama serve 用于兼容 OpenAI 的服务器。自行编译或下载归档包时,llama-cli 和 llama-server 这两个二进制文件仍然存在。
- llama-cli
- 命令行聊天。适合在几秒内测试模型或设置。
- llama-server
- 一个提供 OpenAI 兼容 API 并内置网页界面的 HTTP 服务器,根据当前文档,默认监听 127.0.0.1 的 9931 端口。这是大多数高级用户常驻运行的组件。
- llama-bench
- 用于测量性能的工具。它分别给出提示词处理速度和生成速度,让您能够客观比较两种设置,不至于自欺欺人。
- llama-quantize
- 将全精度 GGUF 文件转换为更轻量的量化版本(Q4_K_M、Q5_K_M、Q8_0)。
#封装层增添了什么,又隐藏了什么
Ollama、LM Studio 和 KoboldCpp 提供了 llama.cpp 本身不提供的功能:模型目录、用一条命令下载、用户界面,以及自动加载和卸载。作为代价,它们会设定默认值。下表不比较性能,而是说明各项设置由谁决定。
| 设置 | 原版llama.cpp | Ollama | LM Studio | KoboldCpp |
|---|---|---|---|---|
| 上下文长度 | 通过 -c 选项自由设置 | 保守的默认值,可通过变量或 Modelfile 修改 | 每个模型都有独立滑块 | 启动时指定的选项 |
| 量化方式选择 | 任意 GGUF 文件 | 目录标签,默认 Q4 | 提供下载的列表 | 任意 GGUF 文件 |
| 发送到 GPU 的层数 | -ngl 选项:一个数字、auto(默认)或 all | 自动 | 滑块 | 启动时指定的选项 |
| KV 缓存量化 | -ctk 和 -ctv 选项(默认为 f16) | 全局环境变量 | 高级设置 | 启动时指定的选项 |
| API | llama-server,兼容 OpenAI(默认端口 9931) | 简洁 API + OpenAI 兼容性 | 与 OpenAI 兼容的服务器 | 简洁 API + OpenAI 兼容性 |
| 引擎更新 | 当天,每次提交时 | 存在延迟 | 存在延迟 | 存在延迟 |
最后一行比乍看之下更重要。新的模型架构发布后,首先会在 llama.cpp 中得到支持,几天或几周后,上层工具才会跟进。如果您想在模型发布当周就进行测试,这往往是唯一的途径。
#改变一切的四项设置
- -ngl (n-gpu-layers)
- 放入显存的模型层数:可以是一个数字、auto 或 all。默认值为 auto。如果您强制指定了数值而模型超出了显存容量,请逐步调低,直到能够成功加载:每留在 CPU 上的一层都会拖慢生成速度,但运行缓慢的模型总比无法启动的模型要好。
- -c(ctx-size)
- 分配的上下文窗口。默认情况下,该值从模型中读取(0),--fit 可能会将其缩小以适配内存。KV 缓存会随之增长:请按实际需要分配,而不是按模型宣称的最大值分配。
- -fa(flash-attn)
- Flash Attention 可降低内存占用,并加快长提示词的读取速度。可选值为 on、off 或 auto;auto 为默认值,因此通常无需额外设置。
- --n-cpu-moe
- 对于 MoE 模型,将前 N 层的专家保留在内存中,其余部分留在 GPU 上(-cmoe 会将所有专家保留在 CPU 上)。正是这一点让超出显存容量的 MoE 模型得以运行。
- Flash Attention:在 llama.cpp、Ollama 和 vLLM 中启用它
- 量化 KV 缓存以节省 VRAM
- 使用 tensor-split 将模型分布到多个 GPU 上
- llama-server 官方文档(完整选项列表)
#变化之处:--fit 自动为您设置 -ngl
长期以来,手动设置 -ngl 一直是所有 llama.cpp 指南的第一步:设为 99 把所有层都放到 GPU 上,如果加载失败再反复试错往下调。现在这已不再是必经步骤。默认启用的 --fit 选项会自动调整未指定的参数(包括 -ngl 和上下文大小),使模型能装入可用内存。它会为每个设备保留 1024 MB 的余量(-fitt),且上下文不会低于 4096 个 token(-fitc),这些值均可修改。在配置一般的显卡上,这可以省去启动失败、再手动降低 -ngl 的反复折腾。
#适合您显卡的后端
llama.cpp 需针对特定的计算后端进行编译或下载。正确的选择仅取决于你的硬件。下表列出了我们 90 种配置数据库中的各个系列。使用官方安装脚本时,这一选择会自动完成;只有当你想强制指定后端时,才需要用到预编译二进制文件和编译选项。
| 您的硬件 | 推荐的后端 | 备注 |
|---|---|---|
| NVIDIA GTX 10 至 RTX 50 系列,桌面版和笔记本版 | CUDA | 在 NVIDIA 显卡上应选择的后端。 |
| AMD Radeon RX 7000 和 RX 9000 | ROCm (HIP) 或 Vulkan | ROCm 在能正常工作的情况下速度更快。Vulkan 安装起来很顺利,在 Windows 上也是如此。 |
| AMD Radeon RX 6000 及更早型号 | Vulkan | 视显卡而定,ROCm 支持可能不完整,也可能完全不受支持。 |
| Apple M1 至 M5 | Metal | macOS 二进制文件中默认启用。所有统一内存均可使用。 |
| Intel或AMD集成GPU、Intel Arc | Vulkan 或 SYCL | 运行小模型时,相比仅使用 CPU,确实有性能提升。 |
| 没有 GPU | CPU(AVX2、AVX-512、NEON) | 各种硬件上都能运行。建议选择参数量不超过 80 亿的模型。 |
#使用 llama.cpp 进行的测量
llama.cpp 是我们测试平台的参考引擎,正因为它能在所有平台上以完全相同的方式运行。以下是在 Llama 3.1 8B 上以 Q4、2 048 tokens 上下文、单个请求并启用 Flash Attention 时测得的生成速度。
| 机器 | 内存 | Llama 3.1 8B Q4 |
|---|---|---|
| RTX 5090 | 32 GB | 172 tok/s |
| RTX 4090 | 24 GB | 128 tok/s |
| RTX 4070 | 12 GB | 76 tok/s |
| Mac M3 Max | 64 GB 统一内存 | 64 tok/s |
| RTX 3060 | 12 GB | 44 tok/s |
| Ryzen 7 7700,仅使用 CPU | 系统 RAM | 7,8 tok/s |
两点解读。首先,RTX 3060 与纯 CPU 之间相差五到六倍:即使是入门级显卡也能显著改变使用体验。其次,在相同机器上,这些数字在 Ollama 或 LM Studio 中几乎相同,因为计算引擎是同一个。这些数据测于 2026 年 4 月,早于 1.0.0 版本:请将其视为数量级参考,而不是对最新版本的承诺。
#继续使用 Ollama 还是改用 llama.cpp
是否应该因为 llama.cpp 1.0 而放弃 Ollama?不必。1.0.0 是 API 稳定性的里程碑,而非破坏性变更:Ollama 仍然尤其依赖 llama.cpp(其发行说明提到了对它的更新),并提供 llama.cpp 所不具备的功能,例如模型目录、桌面应用或云端模型。如果右栏中的某种情况正符合您的需求,请改用 llama.cpp;否则,两者可以共存,默认端口不会冲突(Ollama 为 11434,llama-server 为 9931)。
| 如果……,继续使用 Ollama 或 LM Studio | 如果……,请切换到 llama.cpp |
|---|---|
| 您想与模型讨论,而不阅读文档。 | 您的模型所需显存超过 VRAM 容量,且您希望精细调整模型在 GPU 和 CPU 之间的分配。 |
| 您经常更换模型,并且喜欢集成式目录。 | 您想测试本周刚发布的架构。 |
| 您的工具(Open WebUI、编辑器扩展)需要对接 Ollama 的 API。 | 您要搭建一台长期使用的服务器,并希望掌控从上下文到KV缓存的每一项设置。 |
| 您在使用 Ollama 的应用、其云端模型或其集成功能。 | 您需要特定版本的引擎,或以夜间构建形式发布的最新修复。 |
#十分钟入门
试用无需自行编译。官方 README 提供了一行命令的安装脚本,并发布了适用于 Windows、macOS 和 Linux 的预编译二进制文件。包管理器同样可以完成安装。以下命令会安装 llama.cpp,然后从 Hugging Face 下载一个小模型并启动服务器,其 Web 界面在 http://localhost:9931 打开。
如需能力更强的模型,同样的机制也适用于 llama-server 和你选择的 GGUF 仓库。不使用 -ngl 选项时,--fit 会替你分配各层;添加 -c 可固定上下文长度。
对于已下载的 GGUF 文件,用 -m 选项指定其路径即可。只有在需要启用特定后端或紧跟每日开发进度时,才有必要从源码编译。
#最常见的加载错误
使用 llama.cpp 时遇到的大多数阻碍可归结为三种原因:所需内存超出可用容量、GGUF 文件与已安装的构建版本不兼容,或选项名称拼写错误。命令行显示的错误信息几乎总能指出是哪一种原因,前提是把信息读完,而不是关闭后重新运行。
| 消息或症状 | 可能原因 | 值得一试 |
|---|---|---|
| cudaMalloc failed: out of memory | 模型加上所要求的上下文,所需显存超过了可用 VRAM | 减小 -c,让 --fit 调整 -ngl,或选择更轻量的量化 |
| unknown model architecture | GGUF 文件使用的架构比已安装的二进制程序所支持的架构更新 | 更新至最新发布版本;新模型架构通常最先在 llama.cpp 中获得支持 |
| 尽管使用了较新的 GPU,生成速度仍然非常慢 | 并非所有层都已卸载到 GPU,通常是因为可用 VRAM 不足 | 检查加载日志(含“offloaded”的行),关闭其他占用 GPU 的应用程序 |
| error: invalid argument | 命令中的选项名称被改写或拼写错误 | 与 llama-server --help 对比,其中会列出最新的短别名和长别名 |
| 某个脚本因 --defrag-thold 而崩溃 | 该选项已在 1.0.0 版本中移除 | 从命令中删除该选项 |
| 8080 端口连接被拒绝 | 文档中的默认端口现为 9931 | 使用 http://localhost:9931,或设置 --port 8080 |
服务器启动时显示的加载信息值得完整读一遍:它会告诉您实际卸载到 GPU 的层数、实际生效的上下文大小以及所用的 KV 缓存类型。这通常比胡乱添加选项直到能跑起来要快得多。也请留意已安装的版本:除 v1.x 版本外,llama.cpp 还会非常频繁地发布每夜构建(编号为 bNNNN),针对您的显卡或模型的修复有时已经发布,却还没进入您上周安装的 Homebrew 或 winget 软件包。
#FAQ
llama.cpp 比 Ollama 更快吗?+
使用 llama.cpp 是否必须懂得编译?+
可以不使用显卡运行 llama.cpp 吗?+
llama.cpp 和 vLLM 有什么区别?+
那么在 Mac 上,使用 llama.cpp 还是 MLX?+
llamacpp、llama cpp、llama.cpp:是同一个东西吗?+
llama.cpp 1.0 带来了什么?+
是否应该从 Ollama 转向 llama.cpp?+
#2026年11月16日的来源与核实
1.0.0 版本的命令、默认值和新功能已于 2026 年 11 月 16 日根据官方发行说明、仓库 README、llama-server 文档以及项目团队发布的公告进行了复核。
- llama.cpp v1.0.0 版本说明(2026 年 11 月 13 日)
- llama.cpp 1.0 发布公告 — Hugging Face
- llama.cpp 仓库官方 README
- llama-server 文档(选项与 API)
- 安装 llama.cpp 预编译版本
- 编译 llama.cpp:官方指南
- GGUF 格式官方文档 — Hugging Face
有反馈、发现了错误,或想补充说明?请告诉我们,让这份指南对每个人都更有帮助。