高级 12 分钟llama.cpp
使用 Vulkan 的 llama.cpp(GPU universel)

Vulkan 是跨厂商图形 API:它支持 NVIDIA、AMD、Intel Arc,甚至支持集成 GPU。使用 Vulkan 后端编译 llama.cpp,可以完全避开 CUDA/ROCm 的各种麻烦,并获得一个到处都能运行的方案。代价是性能比原生后端低 10% 到 20%——对于硬件配置各异的环境来说,这通常是一个不错的取舍。
#为什么选择 Vulkan
- Vendor-agnostic
- 同一个二进制文件可在 GeForce、Radeon、Arc、Iris 上运行。无论是分发工具,还是在购买显卡前测试模型,都很方便。
- 安装简单
- Vulkan 驱动已包含在标准图形驱动中。无需安装数 GB 大小的 Toolkit。
- 旧显卡
- GTX 1060 6 GB 或 RX 580 可通过 Vulkan 运行,而 CUDA 已不再支持这些旧显卡,ROCm 也不支持。
- Intel Arc
- Vulkan 对 Arc A580/A750/A770 的支持良好,而 oneAPI 的支持则不太稳定。
#兼容的 GPU
- NVIDIA
- 所有 Maxwell 及更新架构的显卡(GTX 900 及更新)。所有近期 NVIDIA 驱动程序均支持 Vulkan。
- AMD
- Polaris(RX 400/500)、Vega、Navi(RX 5000/6000/7000/9000)。Linux 上使用 Mesa,Windows 上使用官方驱动。
- Intel Arc
- Alchemist(A380-A770)和 Battlemage。在本地 AI 场景中性价比出色。
- Intel 集成 GPU
- Xe(Tiger Lake+)、Xe2(Lunar Lake、Arrow Lake)。适用于没有独立 GPU 的笔记本运行小型模型。
#先决条件
#1. 构建
Vulkan 着色器会在构建期间编译。根据 CPU 不同,需要 3-8 分钟。
本地 AI 套件
只需 1 小时,即可在您的电脑上拥有专属的免费 ChatGPT — LM Studio、Ollama、Open WebUI、您的文档,无需云端。
- 在线空间,终身可用
- PDF + 文件
- 30 天内退款
#2. 测试
启动时,llama.cpp 会通过 Vulkan 显示检测到的 GPU:ggml_vulkan: Found 1 Vulkan devices: ... Intel(R) Arc(TM) A770。如果您有多个 GPU,可使用 -mg N (main GPU index) 进行选择。
#3. 与 CUDA / ROCm 的性能对比
Qwen 3.5 9B Q4_K_M 上的每秒 token 数,已启用 Flash Attention(数量级):
- RTX 4070 — 原生 CUDA
- 约 82 tok/s(参考值)。
- RTX 4070 — Vulkan
- 约 70 tok/s(-15%)。
- RX 7800 XT — ROCm
- ~56 token/s。
- RX 7800 XT — Vulkan
- 约 48 tok/s(-15%)。ROCm 出现阻塞时,有时反而是最快的选择。
- Arc A770 16 GB — Vulkan
- ~43 tok/s。性价比最佳。
- Intel Xe iGPU(Lunar Lake)
- 约 8-13 tok/s。适用于 2-3B,在 9B 上则显得吃力。
#何时选择 Vulkan
- 你有一张 Intel Arc 显卡
- 2026 年,Vulkan 优于 oneAPI。性能稳定,无需特殊的安装步骤。
- ROCm 不配合
- AMD 显卡未获官方支持,强制覆盖设置又导致崩溃:Vulkan 是可行的备用方案。
- 多厂商硬件配置
- 同时配备 GeForce 和 Intel Arc 的机器,或 Thunderbolt + eGPU 配置可变的笔记本电脑。Vulkan 都能兼容。
- 工具的分发
- 如果您开发的应用需要在配置未知的机器上运行,Vulkan版二进制程序的兼容性最好。
i
不适用于 Mac
在 macOS 上,Vulkan 通过 MoltenVK 运行,后者是将 Vulkan 转换为 Metal 的转换层。请改用 llama.cpp 的原生 Metal 后端——速度更快。
这份指南对您有帮助吗?
有反馈、发现了错误,或想补充说明?请告诉我们,让这份指南对每个人都更有帮助。