高级 15 分钟llama.cpp

使用 CUDA 编译 llama.cpp:构建指南,一步一步

使用 CUDA 编译 llama.cpp:分步构建指南

Ollama 和 LM Studio 封装了 llama.cpp,但通常落后 1 或 2 个版本,并采用较保守的参数设置。自行编译 llama.cpp,可以在较新的 RTX 显卡上提升 20% 至 40% 的速度,并使用刚刚推出的功能。本指南涵盖 Windows、Linux 和 CUDA 编译。

作者: Mohamed Meguedmi·更新于 2026-03-05·已在 Windows、macOS 和 Linux 上测试

#为何自行编译

抢先体验新功能
新的量化方式(IQ4_NL、Q2_K_S)、新模型(Mamba、DeepSeek)、实验性选项标志。
最佳性能
针对特定 CPU(AVX-512、AMX)和 CUDA 代际(RTX 40 使用 sm_89,RTX 50 使用 sm_90)优化的构建版本。
底层工具
llama-bench 用于基准测试,llama-cli 用于编写脚本,llama-server 用于提供裸 endpoint(没有 UI,也没有依赖项)。
i
哪些人适合自行编译?
如果你是开发者、对性能感兴趣,或者正在处理 Ollama 不支持的 Mamba/Jamba:可以。否则,Ollama 无需编译即可完成 95% 的工作。

#先决条件

CUDA Toolkit 12.x
可从 developer.nvidia.com 下载。不要与驱动混淆——Toolkit 包含编译器 nvcc。
CMake 3.21+
在 Linux 上运行 apt install cmake,在 Windows 上通过 chocolatey 安装。
C++ 编译器
Linux 上使用 gcc 11 或更高版本,Windows 上使用 MSVC 2022 Build Tools。
Git
用于克隆和更新。

#1. 克隆仓库

终端
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp

#2. 使用 CUDA 构建

Linux / macOS
cmake -B build -DGGML_CUDA=ON -DCMAKE_BUILD_TYPE=Release
cmake --build build --config Release -j $(nproc)
Windows(PowerShell)
cmake -B build -DGGML_CUDA=ON -DCMAKE_BUILD_TYPE=Release
cmake --build build --config Release -j

编译耗时 3 到 10 分钟,具体取决于您的 CPU。二进制文件会生成在 build/bin/(Linux)或 build/bin/Release/(Windows)中。

打造专属 AI 助手的完整套件。

借助我们的经验和引导式路径,打造你的本地助手,在日常中使用你的 AI。

  • 在线空间,终身可用
  • PDF + 文件
  • 30 天内退款
→
针对您的 GPU 优化的构建
添加 -DCMAKE_CUDA_ARCHITECTURES=89 以仅针对 RTX 40(或使用 90 针对 RTX 50)。二进制文件更小,构建速度也更快。

#3. 测试

下载 GGUF
# Via Hugging Face CLI
pip install huggingface_hub
huggingface-cli download \
  TheBloke/Mistral-7B-Instruct-v0.2-GGUF \
  mistral-7b-instruct-v0.2.Q4_K_M.gguf \
  --local-dir ./models
推理
./build/bin/llama-cli \
  -m ./models/mistral-7b-instruct-v0.2.Q4_K_M.gguf \
  -p "Explique ce qu'est un LLM en 3 phrases." \
  -n 256 \
  -ngl 99  # nombre de couches sur GPU
兼容 OpenAI 的 HTTP 服务器
./build/bin/llama-server \
  -m ./models/mistral-7b-instruct-v0.2.Q4_K_M.gguf \
  --port 8080 \
  -ngl 99 \
  -c 8192

#4. 优化标志

-ngl N
加载到 GPU 的层数。若 VRAM 足够,请设置为 99(或更高)以全部加载。
-fa
Flash Attention。速度提升 20–30%,上下文占用的显存减少。如果您的 GPU 采用 Ampere 或更新架构(RTX 30xx 及后续系列),请始终启用。
-c N
上下文长度。不要设置得超过必要值:KV cache 会消耗显存。
-b N / -ub N
批大小和微批大小。默认值为 512/512。设为 1024/512 可加快提示词处理。
--no-mmap
禁用 mmap。如果在某些 SSD 上初次加载较慢,可以尝试此选项。

#5. 保持更新

Update
cd llama.cpp
git pull
cmake --build build --config Release -j

llama.cpp 每天会提交多个 commit。每周执行一次 git pull 是合适的节奏。如果出现回归,请对特定 tag 使用 git checkout(例如:b4400)。

#故障排除

nvcc not found
CUDA Toolkit 不在 PATH 中。在 Linux 上:export PATH=/usr/local/cuda/bin:$PATH。
CUDA 版本不匹配
NVIDIA 驱动版本比 Toolkit 旧。请更新驱动,确保其版本不低于所用 Toolkit 要求的最低版本。
使用 cuBLAS 时出现 Link error
LD_LIBRARY_PATH 错误。请添加 /usr/local/cuda/lib64。
在 MSVC 上构建失败
请打开“x64 Native Tools Command Prompt for VS 2022”,不要使用 PowerShell。否则,某些 CMake 工具会找不到 cl.exe。
这份指南对您有帮助吗?

有反馈、发现了错误,或想补充说明?请告诉我们,让这份指南对每个人都更有帮助。