中级 11 分钟llama.cpp

llama.cpp:是什么,是否需要放弃使用 Ollama ?

llama.cpp 是什么,需要放弃 Ollama 吗?
直接回答

llama.cpp(也写作 llamacpp 或 llama cpp)是一个用 C 和 C++ 编写的引擎,可在 CPU 和 GPU 上运行 GGUF 模型;Ollama、LM Studio 和 KoboldCpp 都基于它。2026 年 11 月 13 日发布的 1.0.0 版本主要为开发者稳定了 API。继续使用 Ollama 仍然合理;如果想自行调整内存、上下文和 KV 缓存,则值得改用 llama.cpp。

llama.cpp(也写作 llamacpp 或 llama cpp)是一个用 C 和 C++ 编写的引擎,可在 CPU 和 GPU 上运行 GGUF 模型;Ollama、LM Studio 和 KoboldCpp 都基于它。2026 年 11 月 13 日发布的 1.0.0 版本主要为开发者稳定了 API。继续使用 Ollama 仍然合理;如果想自行调整内存、上下文和 KV 缓存,则值得改用 llama.cpp。

作者: Mohamed Meguedmi·更新于 2026-11-19·已在 macOS 14+ 上测试

#llama.cpp 简介

该项目由 Georgi Gerganov 于 2023 年 3 月发起,目标很简单:在 MacBook 上运行 Meta 的 LLaMA 模型,无需 Python,也没有繁重的依赖。项目采用 MIT 许可证发布。代码仓库已迁至 ggml-org 组织名下,并于 2026 年 11 月 13 日发布了 1.0.0 版本。官方公告称支持超过 150 种架构变体,而 2023 年 8 月定义的文件格式 GGUF 已成为分发量化模型的事实标准。

两个技术选择解释了这一成功。第一个是量化:llama.cpp 能使用压缩为 2 至 8 位的权重运行模型,使一个 80 亿参数的模型只需 5 GB,而不是 16 GB。第二个是在处理器和显卡之间分配计算:当模型无法完全装入显存时,一部分层留在系统内存中,其余层放到 GPU 上。这样运行比完全加载到 GPU 上更慢,但确实可行,而且提供这一功能的引擎很少。

你可能会看到它被写作 llama.cpp、llama cpp、llamacpp,甚至“lama.cpp”:这些都是同一个项目。如果你搜索的是“ollama cpp”或“llm.cpp”,指的其实就是 llama.cpp;Ollama 则是另一款软件,它尤其依托于 llama.cpp。

#llama.cpp 1.0.0:对你意味着哪些变化

打造专属 AI 助手的完整套件。

借助我们的经验和引导式路径,打造你的本地助手,在日常中使用你的 AI。

  • 在线空间,终身可用
  • PDF + 文件
  • 30 天内退款

2026 年 11 月 13 日,该项目发布了 llama.cpp 和 ggml 库的 1.0.0 版本。其明确目标是为开发者提供稳定的 API:今后,C API 的不兼容变更将按照语义化版本规范,通过主版本号的变化来宣布。因此,对于只是运行 llama-server 的用户来说,可见的变化与其说是新界面,不如说是一个更清晰的框架。

官方安装程序
README 提供了一个单行脚本(macOS、Linux、Windows),用于安装 llama 命令,其中 llama cli 用于在终端中对话,llama serve 用于启动兼容 OpenAI 的服务器。该脚本会自行选择 Metal、CUDA、ROCm、Vulkan 或 CPU 版本。Homebrew、winget、conda-forge、MacPorts 和 Nix 仍然可用。
FP8 KV 缓存
-ctk 和 -ctv 选项现已支持 f8_e4m3,此外还支持 f16、bf16、q8_0 以及 4 位和 5 位格式。好处是:在长上下文场景下减少缓存占用的内存。
MoE 模型的专家缓存
为混合专家(MoE)模型新增了位于主机内存中的专家缓存;当所请求的专家不在缓存中时,部分计算交由 CPU 完成。
加固的服务器
无需认证的工具以及媒体的私有地址,现在都需要显式启用(--allow-unauthenticated-tools、--media-allow-private-urls)。CORS 访问、DNS 重绑定防护以及 Hugging Face 令牌的处理也都已收紧。
语音与音频
服务器为具备语音输出能力的模型新增了一个 OpenAI 兼容的 /v1/audio/speech 端点,并支持 Gemma 4 的流式音频输入。
重新设计的 Web 界面
重新整理的侧边栏、分组的聊天、带 Markdown 预览的输入编辑器、适配手机的布局。
已移除的内容
已弃用的公共 API,包括 --defrag-thold 选项。如果您的某个脚本仍在传入该选项,请将其删除。
i
仍然成立的结论
llama-server 仍保留其兼容 OpenAI 的 API,-ngl、-c、-fa、-ctk、-ctv 和 --n-cpu-moe 选项也仍在文档中。只有已弃用的公共 C API 和 --defrag-thold 选项被移除。您无需当天就迁移。

#其中包含什么

llama
官方脚本安装的单一命令:llama cli 用于在终端中聊天,llama serve 用于兼容 OpenAI 的服务器。自行编译或下载归档包时,llama-cli 和 llama-server 这两个二进制文件仍然存在。
llama-cli
命令行聊天。适合在几秒内测试模型或设置。
llama-server
一个提供 OpenAI 兼容 API 并内置网页界面的 HTTP 服务器,根据当前文档,默认监听 127.0.0.1 的 9931 端口。这是大多数高级用户常驻运行的组件。
llama-bench
用于测量性能的工具。它分别给出提示词处理速度和生成速度,让您能够客观比较两种设置,不至于自欺欺人。
llama-quantize
将全精度 GGUF 文件转换为更轻量的量化版本(Q4_K_M、Q5_K_M、Q8_0)。

#封装层增添了什么,又隐藏了什么

Ollama、LM Studio 和 KoboldCpp 提供了 llama.cpp 本身不提供的功能:模型目录、用一条命令下载、用户界面,以及自动加载和卸载。作为代价,它们会设定默认值。下表不比较性能,而是说明各项设置由谁决定。

比较的是可控性,而非速度 · 截至 2026 年 11 月 16 日
设置原版llama.cppOllamaLM StudioKoboldCpp
上下文长度通过 -c 选项自由设置保守的默认值,可通过变量或 Modelfile 修改每个模型都有独立滑块启动时指定的选项
量化方式选择任意 GGUF 文件目录标签,默认 Q4提供下载的列表任意 GGUF 文件
发送到 GPU 的层数-ngl 选项:一个数字、auto(默认)或 all自动滑块启动时指定的选项
KV 缓存量化-ctk 和 -ctv 选项(默认为 f16)全局环境变量高级设置启动时指定的选项
APIllama-server,兼容 OpenAI(默认端口 9931)简洁 API + OpenAI 兼容性与 OpenAI 兼容的服务器简洁 API + OpenAI 兼容性
引擎更新当天,每次提交时存在延迟存在延迟存在延迟

最后一行比乍看之下更重要。新的模型架构发布后,首先会在 llama.cpp 中得到支持,几天或几周后,上层工具才会跟进。如果您想在模型发布当周就进行测试,这往往是唯一的途径。

#改变一切的四项设置

-ngl (n-gpu-layers)
放入显存的模型层数:可以是一个数字、auto 或 all。默认值为 auto。如果您强制指定了数值而模型超出了显存容量,请逐步调低,直到能够成功加载:每留在 CPU 上的一层都会拖慢生成速度,但运行缓慢的模型总比无法启动的模型要好。
-c(ctx-size)
分配的上下文窗口。默认情况下,该值从模型中读取(0),--fit 可能会将其缩小以适配内存。KV 缓存会随之增长:请按实际需要分配,而不是按模型宣称的最大值分配。
-fa(flash-attn)
Flash Attention 可降低内存占用,并加快长提示词的读取速度。可选值为 on、off 或 auto;auto 为默认值,因此通常无需额外设置。
--n-cpu-moe
对于 MoE 模型,将前 N 层的专家保留在内存中,其余部分留在 GPU 上(-cmoe 会将所有专家保留在 CPU 上)。正是这一点让超出显存容量的 MoE 模型得以运行。

#变化之处:--fit 自动为您设置 -ngl

长期以来,手动设置 -ngl 一直是所有 llama.cpp 指南的第一步:设为 99 把所有层都放到 GPU 上,如果加载失败再反复试错往下调。现在这已不再是必经步骤。默认启用的 --fit 选项会自动调整未指定的参数(包括 -ngl 和上下文大小),使模型能装入可用内存。它会为每个设备保留 1024 MB 的余量(-fitt),且上下文不会低于 4096 个 token(-fitc),这些值均可修改。在配置一般的显卡上,这可以省去启动失败、再手动降低 -ngl 的反复折腾。

→
-ngl 99 仍然有效
如果您更想强制指定精确的分配方式,-ngl 99(或 -ngl all)仍然有效;--fit 只作用于您未自行设置的参数。行为变化涉及的是默认值,而不是命令本身。

#适合您显卡的后端

llama.cpp 需针对特定的计算后端进行编译或下载。正确的选择仅取决于你的硬件。下表列出了我们 90 种配置数据库中的各个系列。使用官方安装脚本时,这一选择会自动完成;只有当你想强制指定后端时,才需要用到预编译二进制文件和编译选项。

系列数据来自 QuelLLM 硬件数据库(90 款 GPU 与芯片)· 2026 年 11 月 16 日
您的硬件推荐的后端备注
NVIDIA GTX 10 至 RTX 50 系列,桌面版和笔记本版CUDA在 NVIDIA 显卡上应选择的后端。
AMD Radeon RX 7000 和 RX 9000ROCm (HIP) 或 VulkanROCm 在能正常工作的情况下速度更快。Vulkan 安装起来很顺利,在 Windows 上也是如此。
AMD Radeon RX 6000 及更早型号Vulkan视显卡而定,ROCm 支持可能不完整,也可能完全不受支持。
Apple M1 至 M5MetalmacOS 二进制文件中默认启用。所有统一内存均可使用。
Intel或AMD集成GPU、Intel ArcVulkan 或 SYCL运行小模型时,相比仅使用 CPU,确实有性能提升。
没有 GPUCPU(AVX2、AVX-512、NEON)各种硬件上都能运行。建议选择参数量不超过 80 亿的模型。

#使用 llama.cpp 进行的测量

llama.cpp 是我们测试平台的参考引擎,正因为它能在所有平台上以完全相同的方式运行。以下是在 Llama 3.1 8B 上以 Q4、2 048 tokens 上下文、单个请求并启用 Flash Attention 时测得的生成速度。

实测 · QuelLLM 测试台,llama.cpp b4280,2026 年 4 月 18 日记录 · 完整表格见 Benchmarks 页面
机器内存Llama 3.1 8B Q4
RTX 509032 GB172 tok/s
RTX 409024 GB128 tok/s
RTX 407012 GB76 tok/s
Mac M3 Max64 GB 统一内存64 tok/s
RTX 306012 GB44 tok/s
Ryzen 7 7700,仅使用 CPU系统 RAM7,8 tok/s

两点解读。首先,RTX 3060 与纯 CPU 之间相差五到六倍:即使是入门级显卡也能显著改变使用体验。其次,在相同机器上,这些数字在 Ollama 或 LM Studio 中几乎相同,因为计算引擎是同一个。这些数据测于 2026 年 4 月,早于 1.0.0 版本:请将其视为数量级参考,而不是对最新版本的承诺。

#继续使用 Ollama 还是改用 llama.cpp

是否应该因为 llama.cpp 1.0 而放弃 Ollama?不必。1.0.0 是 API 稳定性的里程碑,而非破坏性变更:Ollama 仍然尤其依赖 llama.cpp(其发行说明提到了对它的更新),并提供 llama.cpp 所不具备的功能,例如模型目录、桌面应用或云端模型。如果右栏中的某种情况正符合您的需求,请改用 llama.cpp;否则,两者可以共存,默认端口不会冲突(Ollama 为 11434,llama-server 为 9931)。

如果……,继续使用 Ollama 或 LM Studio如果……,请切换到 llama.cpp
您想与模型讨论,而不阅读文档。您的模型所需显存超过 VRAM 容量,且您希望精细调整模型在 GPU 和 CPU 之间的分配。
您经常更换模型,并且喜欢集成式目录。您想测试本周刚发布的架构。
您的工具(Open WebUI、编辑器扩展)需要对接 Ollama 的 API。您要搭建一台长期使用的服务器,并希望掌控从上下文到KV缓存的每一项设置。
您在使用 Ollama 的应用、其云端模型或其集成功能。您需要特定版本的引擎,或以夜间构建形式发布的最新修复。

#十分钟入门

试用无需自行编译。官方 README 提供了一行命令的安装脚本,并发布了适用于 Windows、macOS 和 Linux 的预编译二进制文件。包管理器同样可以完成安装。以下命令会安装 llama.cpp,然后从 Hugging Face 下载一个小模型并启动服务器,其 Web 界面在 http://localhost:9931 打开。

先安装,再启动服务器
# Script officiel (macOS et Linux) : installe la commande llama dans ~/.local/bin
curl -LsSf https://llama.app/install.sh | sh

# Windows (PowerShell)
irm https://llama.app/install.ps1 | iex

# Ou via un gestionnaire de paquets
brew install llama.cpp        # macOS et Linux
winget install llama.cpp      # Windows

# Télécharger un petit modèle depuis Hugging Face et lancer le serveur
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

如需能力更强的模型,同样的机制也适用于 llama-server 和你选择的 GGUF 仓库。不使用 -ngl 选项时,--fit 会替你分配各层;添加 -c 可固定上下文长度。

使用 Gemma 4 模型的 llama-server
llama-server -hf ggml-org/gemma-4-E4B-it-GGUF -c 8192

# Tester l'API compatible OpenAI (port par défaut : 9931)
curl http://localhost:9931/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"Bonjour"}]}'
!
不要在未设置密钥的情况下将服务器开放到网络
默认情况下,llama-server 仅监听 127.0.0.1。如果您修改 --host 以向局域网开放,请同时设置 --api-key,并使用 --cors-origins 限制 CORS 访问。

对于已下载的 GGUF 文件,用 -m 选项指定其路径即可。只有在需要启用特定后端或紧跟每日开发进度时,才有必要从源码编译。

#最常见的加载错误

使用 llama.cpp 时遇到的大多数阻碍可归结为三种原因:所需内存超出可用容量、GGUF 文件与已安装的构建版本不兼容,或选项名称拼写错误。命令行显示的错误信息几乎总能指出是哪一种原因,前提是把信息读完,而不是关闭后重新运行。

更改设置前先阅读消息
消息或症状可能原因值得一试
cudaMalloc failed: out of memory模型加上所要求的上下文,所需显存超过了可用 VRAM减小 -c,让 --fit 调整 -ngl,或选择更轻量的量化
unknown model architectureGGUF 文件使用的架构比已安装的二进制程序所支持的架构更新更新至最新发布版本;新模型架构通常最先在 llama.cpp 中获得支持
尽管使用了较新的 GPU,生成速度仍然非常慢并非所有层都已卸载到 GPU,通常是因为可用 VRAM 不足检查加载日志(含“offloaded”的行),关闭其他占用 GPU 的应用程序
error: invalid argument命令中的选项名称被改写或拼写错误与 llama-server --help 对比,其中会列出最新的短别名和长别名
某个脚本因 --defrag-thold 而崩溃该选项已在 1.0.0 版本中移除从命令中删除该选项
8080 端口连接被拒绝文档中的默认端口现为 9931使用 http://localhost:9931,或设置 --port 8080

服务器启动时显示的加载信息值得完整读一遍:它会告诉您实际卸载到 GPU 的层数、实际生效的上下文大小以及所用的 KV 缓存类型。这通常比胡乱添加选项直到能跑起来要快得多。也请留意已安装的版本:除 v1.x 版本外,llama.cpp 还会非常频繁地发布每夜构建(编号为 bNNNN),针对您的显卡或模型的修复有时已经发布,却还没进入您上周安装的 Homebrew 或 winget 软件包。

#FAQ

llama.cpp 比 Ollama 更快吗?+
在相同设置下,差距很小:Ollama 的底层主要基于 llama.cpp,并会随版本更新其引擎。差异来自设置。llama.cpp 允许您精确选择放到 GPU 上的层数、上下文大小以及缓存量化方式,有时能让某个模型完全装入显存,而 Ollama 可能会把该模型的一部分留在 CPU 上。
使用 llama.cpp 是否必须懂得编译?+
不需要。每个版本都会发布适用于 Windows、macOS 和 Linux 的预编译二进制文件,README 提供了一行命令的安装脚本,软件包也可通过 Homebrew、winget、conda-forge、MacPorts 和 Nix 获取:一条命令即可,无需编译器。只有在需要启用官方二进制文件中未包含的特定后端、应用本地补丁或跟进开发分支时,从源码编译才有意义。
可以不使用显卡运行 llama.cpp 吗?+
是的,这甚至就是它最初的用途:该项目原本就是为了仅用普通处理器运行模型,无需 GPU,也无需 Python。在我们的测试平台上,使用较新的处理器运行 Q4 量化的 8B 模型,生成速度约为每秒 8 个 token;虽然仍然较慢,但用于对话或摘要时,输出速度仍可供阅读。参数量超过 140 亿后,如果没有硬件加速,等待就会变得难熬。
llama.cpp 和 vLLM 有什么区别?+
llama.cpp 面向各种硬件配置的个人电脑,使用 GGUF 格式的量化模型。vLLM 面向并行处理大量请求的 GPU 服务器,使用 Hugging Face 模型权重。前者尽可能扩大您自己电脑上能运行的模型范围,后者则尽可能提高共享 GPU 的吞吐量。
那么在 Mac 上,使用 llama.cpp 还是 MLX?+
两者都通过统一内存利用 Apple GPU。MLX 是 Apple 为其自家芯片设计的库;llama.cpp 的优势则在于海量已量化的 GGUF 文件,以及对上下文和 KV 缓存的精细调节。许多 Mac 用户两者都保留,根据目标模型可用的格式来选择。《Mac 上的 MLX 与 llama.cpp 对比》指南详细介绍了如何选择。
llamacpp、llama cpp、llama.cpp:是同一个东西吗?+
是的。这是同一项目的四种写法,即 ggml-org 组织的推理引擎。请勿将其与 Ollama 混淆,后者是使用该引擎的另一款独立软件。
llama.cpp 1.0 带来了什么?+
1.0.0 版本于 2026 年 11 月 13 日发布,稳定了公共 API,并移除了已弃用的 API。它还新增了 FP8 KV 缓存、面向 MoE 模型的专家缓存、经过加固的服务器、一个 /v1/audio/speech 端点以及重新设计的 Web 界面。详情见本指南的专门章节。
是否应该从 Ollama 转向 llama.cpp?+
不一定。如果 Ollama 的模型目录、应用和云端模型已能满足您的需求,就继续使用它;如果您想掌控引擎的每一个选项、测试非常新的架构或搭建长期运行的服务器,再转向 llama.cpp。两者可以在同一台机器上共存。

#2026年11月16日的来源与核实

1.0.0 版本的命令、默认值和新功能已于 2026 年 11 月 16 日根据官方发行说明、仓库 README、llama-server 文档以及项目团队发布的公告进行了复核。


这份指南对您有帮助吗?

有反馈、发现了错误,或想补充说明?请告诉我们,让这份指南对每个人都更有帮助。