高级 15 分钟llama.cpp
使用 CUDA 编译 llama.cpp:构建指南,一步一步

Ollama 和 LM Studio 封装了 llama.cpp,但通常落后 1 或 2 个版本,并采用较保守的参数设置。自行编译 llama.cpp,可以在较新的 RTX 显卡上提升 20% 至 40% 的速度,并使用刚刚推出的功能。本指南涵盖 Windows、Linux 和 CUDA 编译。
#为何自行编译
- 抢先体验新功能
- 新的量化方式(IQ4_NL、Q2_K_S)、新模型(Mamba、DeepSeek)、实验性选项标志。
- 最佳性能
- 针对特定 CPU(AVX-512、AMX)和 CUDA 代际(RTX 40 使用 sm_89,RTX 50 使用 sm_90)优化的构建版本。
- 底层工具
- llama-bench 用于基准测试,llama-cli 用于编写脚本,llama-server 用于提供裸 endpoint(没有 UI,也没有依赖项)。
i
哪些人适合自行编译?
如果你是开发者、对性能感兴趣,或者正在处理 Ollama 不支持的 Mamba/Jamba:可以。否则,Ollama 无需编译即可完成 95% 的工作。
#先决条件
- CUDA Toolkit 12.x
- 可从 developer.nvidia.com 下载。不要与驱动混淆——Toolkit 包含编译器 nvcc。
- CMake 3.21+
- 在 Linux 上运行 apt install cmake,在 Windows 上通过 chocolatey 安装。
- C++ 编译器
- Linux 上使用 gcc 11 或更高版本,Windows 上使用 MSVC 2022 Build Tools。
- Git
- 用于克隆和更新。
#1. 克隆仓库
#2. 使用 CUDA 构建
编译耗时 3 到 10 分钟,具体取决于您的 CPU。二进制文件会生成在 build/bin/(Linux)或 build/bin/Release/(Windows)中。
打造专属 AI 助手的完整套件。
借助我们的经验和引导式路径,打造你的本地助手,在日常中使用你的 AI。
- 在线空间,终身可用
- PDF + 文件
- 30 天内退款
→
针对您的 GPU 优化的构建
添加 -DCMAKE_CUDA_ARCHITECTURES=89 以仅针对 RTX 40(或使用 90 针对 RTX 50)。二进制文件更小,构建速度也更快。
#3. 测试
#4. 优化标志
- -ngl N
- 加载到 GPU 的层数。若 VRAM 足够,请设置为 99(或更高)以全部加载。
- -fa
- Flash Attention。速度提升 20–30%,上下文占用的显存减少。如果您的 GPU 采用 Ampere 或更新架构(RTX 30xx 及后续系列),请始终启用。
- -c N
- 上下文长度。不要设置得超过必要值:KV cache 会消耗显存。
- -b N / -ub N
- 批大小和微批大小。默认值为 512/512。设为 1024/512 可加快提示词处理。
- --no-mmap
- 禁用 mmap。如果在某些 SSD 上初次加载较慢,可以尝试此选项。
#5. 保持更新
llama.cpp 每天会提交多个 commit。每周执行一次 git pull 是合适的节奏。如果出现回归,请对特定 tag 使用 git checkout(例如:b4400)。
#故障排除
- nvcc not found
- CUDA Toolkit 不在 PATH 中。在 Linux 上:export PATH=/usr/local/cuda/bin:$PATH。
- CUDA 版本不匹配
- NVIDIA 驱动版本比 Toolkit 旧。请更新驱动,确保其版本不低于所用 Toolkit 要求的最低版本。
- 使用 cuBLAS 时出现 Link error
- LD_LIBRARY_PATH 错误。请添加 /usr/local/cuda/lib64。
- 在 MSVC 上构建失败
- 请打开“x64 Native Tools Command Prompt for VS 2022”,不要使用 PowerShell。否则,某些 CMake 工具会找不到 cl.exe。
这份指南对您有帮助吗?
有反馈、发现了错误,或想补充说明?请告诉我们,让这份指南对每个人都更有帮助。