高级 11 分钟Backends

llama.cpp 对比 vLLM 对比 Exllama

llama.cpp 与 vLLM、Exllama 对比
直接回答

llama.cpp 是适用于个人用途的可移植引擎(支持 GGUF、CPU、Mac 以及各品牌 GPU),也是 Ollama 和 LM Studio 的底层引擎。vLLM 专为在 GPU 上同时服务大量用户而设计,支持连续批处理;Red Hat 在一张 A100 上测得的吞吐量最高为 793 tokens/s,而 Ollama 为 41 tokens/s。ExLlamaV2 已归档,其开发工作在 ExLlamaV3 中继续。

在 Ollama、LM Studio 或 Jan 中,存在一个推理引擎,该引擎决定了支持的格式、可用的硬件以及负载下的行为。本指南基于各项目仓库中的可验证标准,对比 llama.cpp、vLLM、ExLlama 和 SGLang,纠正常见误解,并提供选择规则。文中不包含任何自测吞吐量数据,仅列出注明来源的第三方测量结果。

作者: Mohamed Meguedmi·更新于 2026-09-29·已在 Windows、macOS 和 Linux 上测试

#推理引擎:它们之间究竟有哪些区别

推理引擎将输入token转换为输出token。我们安装的应用程序(Ollama、LM Studio、Jan)内置了推理引擎;生产环境中的服务端软件(vLLM、SGLang)本身就是推理引擎。有三方面的差异会影响您的使用:支持的模型格式、可使用的硬件,以及同时处理多个请求的方式。

引擎一览表(官方仓库,2026 年 9 月)
引擎许可证已公布的格式和硬件典型用途
llama.cppMITGGUF;CPU、Apple Silicon、NVIDIA(CUDA)、AMD(HIP)、Vulkan、SYCL 等个人电脑、笔记本电脑、轻量级服务器
vLLMApache 2.0Hugging Face 模型;FP8、INT4、GPTQ、AWQ、GGUF(实验性);NVIDIA、AMD、Intel GPU,以及 x86/ARM CPU服务大量用户,面向生产环境
SGLangApache 2.0Hugging Face 模型;FP4、FP8、INT4、AWQ、GPTQ高吞吐量服务器,共享前缀
ExLlamaV3MITEXL3;消费级 GPU NVIDIA个人 GPU 上使用 TabbyAPI 时的延迟
MLX LMMIT仅限 Apple SiliconMac:生成与微调
i
Ollama 和 LM Studio 并不是与这些引擎竞争的推理引擎
Ollama 的仓库在“Supported backends”下列出了 llama.cpp,LM Studio 的首页则说明其引擎基于 MLX 和 llama.cpp。比较“Ollama vs llama.cpp”,相当于比较一个应用程序与它的引擎:专门介绍 Ollama 与 llama.cpp 对比的指南讨论了这一情况。

#模型格式决定可用的引擎

打造专属 AI 助手的完整套件。

借助我们的经验和引导式路径,打造你的本地助手,在日常中使用你的 AI。

  • 在线空间,终身可用
  • PDF + 文件
  • 30 天内退款

比较速度之前,请确认您想使用的模型以什么格式发布。GGUF 文件可由 llama.cpp 加载,因此也可在 Ollama、LM Studio 和 Jan 中加载。Hugging Face 上的 FP16、FP8 权重,或采用 AWQ、GPTQ 量化的权重,可在 vLLM 或 SGLang 中加载。转换为 MLX 格式的模型可在 Mac 上通过 MLX LM 加载,EXL3 模型则可通过 ExLlamaV3 加载。更换引擎往往意味着需要重新下载另一种格式的模型。

格式及兼容的引擎
格式首选引擎另一种可选引擎
GGUFllama.cpp(因此也包括 Ollama、LM Studio、Jan)vLLM,处于实验模式
Hugging Face 模型权重(FP16、FP8)vLLM、SGLang转换后可在 Mac 上使用 MLX LM
AWQ、GPTQvLLM、SGLang需根据引擎确认
EXL3ExLlamaV3无
MLXMLX LMLM Studio 和 Jan,均宣称支持 MLX

#llama.cpp:可跨平台运行的标准方案

llama.cpp 是一个无依赖的 C/C++ 实现,其宣称的目标是在多种硬件上以尽可能少的配置进行推理。它优先支持 Apple Silicon(NEON、Accelerate、Metal),通过 AVX、AVX2、AVX512 和 AMX 支持 x86 CPU,并支持 NVIDIA GPU(CUDA)、AMD GPU(HIP)以及 Vulkan 和 SYCL。它提供 1.5 至 8 位量化和 CPU/GPU 混合推理,可运行大小超过可用显存容量的模型。

需要纠正一个常见误解:llama.cpp 并不局限于一次处理一个请求。其服务器宣称支持多用户并行生成,以及默认启用的连续批处理,并通过 --parallel 参数设置槽位(slots)。因此,它能很好地为小型团队提供服务;它并不追求匹敌 vLLM 的大规模生产功能。

优势
跨平台运行(Mac、Linux、Windows、Android),GGUF 格式广泛普及,支持 CPU 与 GPU 混合运行,依赖少。
限制
没有可与 vLLM 相比的分布式部署功能;需要了解相关设置(上下文、插槽、GPU 上的层数)。
生态系统
是 Ollama 和 LM Studio 的底层支撑,Jan 也提到了它。

如需使用 CUDA、Metal 或 Vulkan 进行编译,请参阅编译指南;llama.cpp 完整指南则详细介绍了使用方法。

#vLLM:面向大量用户的服务器

vLLM 是诞生于加州大学伯克利分校 Sky Computing Lab 的推理与服务库。它基于 PagedAttention,按页管理注意力机制中键和值所占用的内存,并采用连续批处理,辅以分块预填充和前缀缓存。它宣称支持 FP8、INT4、GPTQ、AWQ 和 GGUF 格式,提供兼容 OpenAI 的 API,并支持 NVIDIA、AMD 和 Intel GPU,以及 x86、ARM 和 PowerPC CPU。

有两个常见误解需要纠正。首先,vLLM 已不再仅支持 NVIDIA,也不再缺乏 CPU 支持:其代码仓库说明支持多种 GPU 和 CPU。其次,它也已经支持 GGUF:其文档将 GGUF 支持描述为高度实验性、优化不足,主要适用于降低内存占用。对于日常使用 GGUF,llama.cpp 仍是常规选择。

优势
负载下的吞吐量、分页管理的缓存内存、兼容 OpenAI 的 API、并行处理(张量、流水线、专家),以及多种格式。
限制
比 llama.cpp 更难安装和调优;面向 GPU 服务器;GGUF 不是它的适用场景。
生态系统
当多个人或多个应用同时查询同一模型时的默认选择。

vLLM 指南解释了这个引擎是什么;其生产部署指南则详细介绍了配置调整和监控。

#ExLlama:V2 已归档,V3 开发中

ExLlamaV2 仓库中的说明指出,该项目目前已归档,开发工作在 ExLlamaV3 中继续进行。许多对比评测,包括本页面的旧版本,仍将 V2 介绍为最先进的选择。ExLlamaV3 仓库介绍了 EXL3 量化格式、张量并行和专家并行推理、专家模型的 CPU 卸载、连续批处理、推测解码,以及通过其推荐服务器 TabbyAPI 提供的 OpenAI 兼容 API。

ExLlamaV3 面向消费级 GPU,而不是生产服务器或 Mac。如果您有 NVIDIA 显卡,并希望在质量和模型大小之间取得最佳平衡,EXL3 量化值得一试;请先确认您的模型是否在代码仓库的架构列表中。

#SGLang、MLX LM 及其他工具

SGLang
这一模型服务框架被描述为旨在实现低延迟和高吞吐量,适用规模从单个 GPU 到大型集群。它宣称支持用于前缀缓存的 RadixAttention、连续批处理、PagedAttention 和推测解码。它在服务器端与 vLLM 竞争;专门的指南对此有详细介绍。
MLX LM
这是一个 Python 包,用于在 Apple Silicon 上通过 MLX 生成文本和微调模型。它无法在 Mac 以外的平台上运行。《MLX 与 llama.cpp》指南对比了两者在 Mac 上的表现。
TensorRT-LLM
这是 NVIDIA 开发的引擎,在其自家显卡上性能非常出色,但部署要求更高;只有在生产环境中使用一批 NVIDIA 设备时,才值得考虑。

#已公布的测量结果说明了什么

吞吐量取决于硬件、模型、量化方式、请求长度和引擎版本,并且每月都在变化。因此,本指南不提供自测数据,并提醒你警惕没有测试协议的每秒 token 表格。不过,有第三方来源发布了完整的测试协议:2025 年 8 月的 Red Hat。

Red Hat 的测量结果:A100 上的 vLLM 对比 Ollama(2025 年 8 月)
元素Red Hat 发布的数值
硬件一块 NVIDIA A100-PCIE-40GB 显卡
模型Llama 3.1 8B Instruct(Ollama 端使用 FP16)
版本vLLM 0.9.1;Ollama 0.9.2
测试工具GuideLLM 0.2.1,1 至 256 名并发用户
最大吞吐量vLLM 为 793 tokens/s,而 Ollama 为 41
峰值时的 P99 延迟vLLM 为 80 ms,而 Ollama 为 673 ms

阅读时需有所保留:这篇文章与 Red Hat AI 产品有关,因此出自该领域的一家商业企业;测试针对 Ollama,而非直接针对 llama.cpp,且使用默认设置;这些测试距今已有数个版本。可靠的结论是定性的:在高并发情况下,采用积极批处理策略的推理服务引擎优于面向单用户设计的应用。单人使用时,吞吐量差异并不是制约您的因素。

!
本页不提供每秒 token 数的对照表
本指南的旧版本提供了三个推理引擎的吞吐量和首次响应时间。这些数据未注明任何来源,因此已被移除。要在您的机器上进行比较,请使用您自己的模型和请求进行测量。

#内存:各推理引擎预留多少

模型的内存占用包括权重、上下文缓存(KV)和预留余量。权重的内存占用可以这样计算:一个拥有 80 亿参数的模型在 FP16 下约占用 16 GB(80 亿乘以 2 字节),在 Q4 量化下约占用 5 GB,这是本站给出的参考值。上下文缓存随对话长度和并发请求数量增加而增长。

各引擎如何管理上下文所占用的内存
引擎文档中记载的行为实际影响
llama.cpp由用户设置的上下文;使用统一缓存的并行 slots您设置上下文大小和槽位数量
vLLM预先为缓存分配一部分 GPU 内存,默认占 92%在 24 GB 的显卡上,约 22 GB 会一开始就被预留
ExLlamaV32 到 8 位的缓存量化缓存可以压缩,以便容纳在显存中

要记住的是:vLLM 在启动时就预留显存,这使它能高效提供推理服务,但不太适合与其他应用共享显卡。如果显卡还用于其他任务,应调低 gpu_memory_utilization 参数。

#不同用途该选哪种推理引擎

按情况决策
您的情况推荐引擎原因
在 Mac、PC 或笔记本电脑上用于个人用途llama.cpp,通过 Ollama 或 LM Studio可移植且易于使用
Apple Silicon Mac,追求高吞吐量MLX LM 或 llama.cppMLX 专为 Apple Silicon 设计;使用您的模型进行比较
团队或应用向模型发起查询vLLM 或 SGLang连续批处理、缓存页
一张消费级 NVIDIA 显卡,最大化质量使用 TabbyAPI 的 ExLlamaV3EXL3 量化
混合硬件、CPU、AMD、Intelllama.cpp广泛的硬件支持
模型仅提供 GGUF 格式llama.cppvLLM 目前仅以实验性方式支持它

多个引擎可以共存:Ollama 用于日常聊天,vLLM 按需启动,用于处理一批提取任务。如果用途不同,就没有理由只保留一个引擎。只需为以两种格式存储的同一模型预留磁盘空间,例如用于聊天的 GGUF 文件和用于服务器的 Hugging Face 权重。

关于推理引擎的常见问题
vLLM 还是 llama.cpp:该如何选择?+
个人使用或使用多种硬件(包括 CPU 和 Mac)时,选择 llama.cpp。在 GPU 上为多个用户提供服务时,选择 vLLM,它具备连续批处理和内存分页管理功能。如果只有您自己使用这台机器,通过 Ollama 或 LM Studio 使用 llama.cpp 几乎总是足够的。
Ollama 使用 llama.cpp 吗?+
Ollama 的代码仓库在“Supported backends”下列出了 llama.cpp。Ollama 在其基础上增加了模型管理、API 和应用程序。因此,比较 Ollama 和 llama.cpp,就是比较一个应用程序及其引擎,两者的默认设置、格式和功能有所不同;详情请参阅专门介绍这一对比的指南。
vLLM 能运行 GGUF 文件吗?+
是的,但其文档将这项支持描述为实验性很强、优化不足,主要有助于减少内存占用。目前这项支持通过独立插件提供。使用 vLLM 时,建议选择 Hugging Face 上的 FP16、FP8 权重,或采用 AWQ、GPTQ 量化的权重,并将 GGUF 留给 llama.cpp 使用。
ExLlamaV2 还在维护吗?+
没有。其仓库显示,目前已归档,开发工作在 ExLlamaV3 中继续进行。ExLlamaV3 提供 EXL3 格式,并推荐使用 TabbyAPI 服务器。如果您原本打算按照 ExLlamaV2 和 EXL2 格式的教程操作,请先找到对应的 V3 教程,再开始。
哪个推理引擎最快?+
这取决于硬件、模型和并发用户数。在高并发情况下,Red Hat 的测试显示,vLLM 相比 Ollama 有明显优势。一次只处理一个请求时,差距较小,并且取决于硬件。做决定前,请使用您自己的模型进行测量。
vLLM 需要 NVIDIA GPU 吗?+
不是。vLLM 仓库宣布支持 NVIDIA、AMD 和 Intel GPU,以及 x86、ARM 和 PowerPC CPU,并为其他加速器提供扩展。功能覆盖范围因硬件而异:在决定使用前,请查阅适用于你平台的安装文档。
这份指南对您有帮助吗?

有反馈、发现了错误,或想补充说明?请告诉我们,让这份指南对每个人都更有帮助。