vLLM：是什么，适用于谁，以及在什么情况下使用 ?

#用三句话介绍 vLLM

vLLM 是一个 Python 库，也是一款推理服务器，于 2023 年诞生于加州大学伯克利分校的 Sky Computing Lab，采用 Apache 2.0 许可证发布。这是一种宽松的许可证，允许不受限制的商业再利用。它将 Hugging Face 格式的模型（通常为 safetensors）加载到一个或多个 GPU 上，并通过兼容 OpenAI 的 HTTP API 提供服务。因此，任何已针对 OpenAI API 编写的客户端都可以接入，无需修改任何应用代码，只需更改基础 URL。它的存在意义可以概括为一个词：吞吐量，即当十个、五十个或两百个不同请求同时到达，且都需要迅速得到回答时，GPU 每秒生成的 token 总数。

#vLLM解决的问题

当 LLM 生成文本时，它会保留已读取和已生成内容的记录：即 KV 缓存。该缓存随每个 token 增长，最终大小无法预估，因为无法提前判断回复是二十个词还是两千个词。第一代推理服务器因此为每条请求预留了一块连续内存，以应对最坏情况。

这一量化结果在 vLLM 的奠基论文（Kwon 等，SOSP 2023）中有明确记载，项目团队也引用了这一结果：在现有系统中，为 KV 缓存预留的内存有 60% 至 80% 被白白浪费，原因包括出于谨慎而过度预留，以及碎片化在已分配的内存块之间留下无法使用的空隙。真正可用的内存减少，自然意味着同一张显卡上能并行处理的请求更少。因此，一块价值数千欧元的 GPU 最终只能发挥其理论能力中极小的一部分，而电费和硬件折旧成本却依然不变。

#PagedAttention 与连续批处理

vLLM 基于两个理念。第一个是 PagedAttention，借鉴自操作系统：不再为每个请求分配一个连续的大块缓存，而是将 KV 缓存划分为固定大小的小页，按需分配，并可放在内存中的任意位置。一张表将 token 的逻辑顺序与页的物理位置对应起来，就像计算机的虚拟内存一样。据作者所述，内存浪费降至 4% 以下。

第二个思路是连续批处理，与第一个思路相辅相成。传统服务器会将请求组成批次，等同一批次中的所有请求都完成后，才启动下一批：本可立即返回结果的短请求，却要无谓地等待仍在独占 GPU 的长请求。vLLM 则在每生成一个 token、每执行一步解码时，都会完全重新组织批次。一旦某个响应完成，它在批次中占据的位置就会立即分配给队列中等待的请求，GPU 也就不会因无意义的填充操作而空耗算力。与一次只为一个用户服务而设计的推理引擎相比，所观察到的吞吐量提升主要来自这种批次位置的持续复用与分页内存的结合。

共享前缀

当多个请求以完全相同的文本开头（系统提示词、共同使用的文档）时，对应内存页的内容只需计算一次，并在这些请求之间共享。这就是前缀缓存。

张量并行

当模型体积过大无法容纳在单张显卡上时，会自动分布在同一台机器的多个GPU上，仅需一个启动选项 --tensor-parallel-size 即可实现。

服务器端量化

vLLM 支持 AWQ、GPTQ 和 FP8 格式，这些格式专为 GPU 批量计算设计。GGUF 仅限实验性支持。

与 OpenAI 兼容的 API

接口/v1/chat/completions和/v1/completions的响应方式与OpenAI完全一致：现有的应用只需更改基础URL，无需修改任何业务代码。

#vLLM 会将哪些内容加载到内存中

对于从 Ollama 过来并期望直接沿用原有习惯的用户来说，这是最常见的意外。Ollama 默认下载 4 位量化的 GGUF 文件，旨在适配消费级显卡。而 vLLM 默认加载 Hugging Face 上发布的原始权重，通常为 BF16（16 位精度），即每十亿模型参数约需 2 GB 内存。因此，同一模型在 vLLM 下的内存占用粗略来说是 Ollama 的三倍，这还未计入随进行中的对话而增长的 KV 缓存，这也解释了为何一张对 Ollama 来说足够的显卡，在不更换权重格式的情况下，用于 vLLM 时可能显得捉襟见肘。

最常见的做法是为GPU提供已量化版本而非原始完整权重：一个4位的AWQ或GPTQ模型在内存占用上几乎与同等的GGUF Q4模型相当，而FP8格式在支持该格式的最新显卡上可将BF16大小大致减半。目前绝大多数真正流行的模型已在Hugging Face以这些格式发布，通常就在其正式发布当天。

#支持的硬件和系统

#五分钟即可启动

在配备 NVIDIA GPU 且驱动程序已更新至最新版本的 Linux 机器上，只需在干净的 Python 环境中执行几行命令即可完成安装，无需事先编写复杂配置。vllm serve 命令会在首次启动时从 Hugging Face 下载指定模型，将其加载到内存中，然后立即在默认端口 8000 上开放 API，准备接收标准 OpenAI 格式的请求。

python -m venv vllm-env && source vllm-env/bin/activate
pip install vllm

vllm serve Qwen/Qwen3-8B --max-model-len 8192

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "Qwen/Qwen3-8B", "messages": [{"role": "user", "content": "Bonjour"}]}'

--max-model-len 选项最好从第一次启动起就显式设置：如果不设置，vLLM 会按照模型声明的最大上下文窗口确定 KV 缓存大小，较新的模型有时达到 128,000 个 token 或更多；如果显卡上的可用内存无法满足这一默认大小，vLLM 就会直接拒绝启动，这是首次尝试时的常见错误。正式的生产部署，包括 Docker 容器、调用身份验证、持续监控和逐步扩容，由另一篇更详细的指南专门介绍。

• vLLM 生产环境部署：Docker、安全、监控
• vLLM 官方文档
• PagedAttention论文（Kwon等，2023）
• 来源：vllm-metal 官方公告（2026年9月22日）
• 来源：vLLM项目官方GitHub仓库

#适合谁，不适合谁

• llama.cpp 与 vLLM 与 ExLlama：三种引擎，三种应用场景
• llama.cpp 是什么，需要放弃 Ollama 吗？
• 计算您的模型所需的 VRAM

#FAQ