在 GTX 1080 Ti（11 GB）上运行哪个 LLM？ ?

#2026 年的 GTX 1080 Ti：它具备什么，又缺少什么

GTX 1080 Ti 是一款 Pascal 架构显卡（GP102 芯片），拥有 3584 个 CUDA 核心、11 GB GDDR5X 显存和 484 GB/s 带宽，功耗预算为 250 W。在 llama.cpp 的公开基准测试中，运行 Q4_0 量化的 Llama 2 7B 时，它的生成速度为 62.49 tokens/s，提示词处理速度为 1084.41 tokens/s。这些结果表明，其生成性能与 RTX 2060 Super 相当，同时多出 3 GB 显存：这种容量优势比速度更能说明它为何至今仍值得关注。

表格中已经包含了最重要的信息：在这张显卡上，FP16 的性能约为 FP32 的 1/64。下一段将解释为什么这带来的影响没有想象中那么大。

#Pascal 架构的局限：哪些重要，哪些不重要

确实存在三个限制。第一个是缺少 Tensor Cores，即随 Volta 和 Turing 架构出现的矩阵计算单元：它们能加速提示词处理和训练，但不能加速依赖内存的生成过程。第二个是 FP16 在消费级 Pascal 架构上的计算吞吐量低得惊人（约 166 GFLOPS，而 FP32 为 10,609 GFLOPS）：llama.cpp 等引擎通过使用整数运算计算量化模型来绕过这个问题。第三个是软件支持终止的问题，下文会介绍。

两个经常被重复的说法都是错误的。FP16 并非只是慢两倍，而是慢六十倍。而且，Flash Attention 并非仅限于 Tensor Cores：在 llama.cpp 基准测试中，1080 Ti 启用 Flash Attention 后，提示词读取速度为 1,138.14 tokens/s，生成速度为 61.38 tokens/s；未启用时则分别为 1,084.41 和 62.49 tokens/s。吞吐量的提升很小，但该功能确实可用，而且能减少上下文的内存占用。

#11 GB 能做什么：决策表

本站的参考数据将 Q4 量化的 8B 模型权重大小估为约 5 GB，14B 模型约为 9 GB，不含 KV 缓存。在 11 GB 显存上，12B 模型留有 4 GB 余量，而 14B 模型仅留有 2 GB。表格将测试平台上观察到的效率（达到 484 GB/s 理论上限的 49%，即在模型权重为 3.82 GB 时达到 62.49 tokens/s）应用于常见模型：这些是推算值，并非实测值。

最值得关注的是 12B：这是仍能从容运行的最大模型，还能容纳数千个 token 的上下文。在配备 8 GB 显存的显卡上，同一个模型只留下不到或勉强 1 GB 的余量，必须大幅缩短上下文。再往上，采用 Q4 量化的 14B 模型能装下，但没有余量；300 亿参数的模型则装不下。

#公开基准测试结果

QuelLLM 没有自行测试这张显卡。讨论帖「Performance of llama.cpp on Nvidia CUDA」中的基准测试使用同一个模型比较所有显卡，因此可以看出 1080 Ti 相对于相近显卡的表现。

可以得出三个结论。在生成阶段，1080 Ti 与 RTX 2060 Super 相当，仍比 12 GB 的 RTX 3060 慢 17%。在读取提示词时，差距进一步拉大：RTX 3060 的速度几乎是它的两倍，而显存容量相同的 RTX 2080 Ti 的速度是它的 2.7 倍。最后，Tesla P40 这张采用 Pascal 架构、配备 24 GB 显存的显卡达到了 54.74 tokens/s：这说明该架构能够提供 24 GB 的显存容量，但吞吐量低于 1080 Ti。

#充分利用11 GB显存：降低量化强度

11GB版本的一个优势是可以在模型质量上提升，而非单纯增加模型大小。QuelLLM目录显示，一个Granite 4.2 8B在Q4下为4.6GB，在Q5下为6GB，在Q8下为9GB。在8GB配置下，仅Q4有余量；而在11GB配置下，Q5（6GB）使用非常舒适，Q8（9GB）在短上下文场景下也能顺利运行。

取舍很明确：量化精度每提高一个档位，模型错误就会减少，但生成速度也会下降，因为每生成一个 token 都要重新读取更多权重。对于日常聊天，Q5 是一个不错的平衡点；当生成速度不太重要而需要精确性时（如信息提取、代码任务），采用 Q8 就有理由。量化指南详细说明了质量上的差异。

• 选择量化方案（Q4、Q5、Q8、FP16）

#两块显卡凑出 22 GB：有可能，但需验证

llama.cpp 基准测试的说明指出，拥有多个 GPU 的贡献者必须使用 -sm none -mg 强制只使用一个 GPU，除非模型太大，无法装入显存：这说明该引擎确实能够将一个模型分配到多张显卡上。两张 GTX 1080 Ti 可为权重提供 22 GB 显存，足以容纳一个 320 亿参数的 Q4 模型（根据本站的参考数据，需 19 至 20 GB），但没有为上下文留下余量。

分摊运行并不会让速度相加：模型各层分配到不同显卡上，数据经 PCIe 总线传输，因此性能提升有限。这种配置还需要合适的机箱、电源和主板，并且会让受 Pascal 支持终止影响的硬件数量翻倍。对于需要 24 GB 显存的项目，请先比较使用一张更新显卡的成本。

#四步安装与验证

1. 01
   检查驱动程序

   运行 nvidia-smi。对于计算能力为 5.0 至 6.2 的显卡，例如 GTX 1080 Ti，Ollama 的文档要求驱动版本为 570 或更高版本。
2. 02
   安装 Ollama

   请按照适用于您操作系统的安装指南操作。Ollama 在其官方列表中将该显卡识别为 GTX 1080 Ti（计算能力 6.1）。
3. 03
   选择合适的模型

   先从 Q4 的 8B 模型开始验证链路，然后测试 12B 模型，上下文长度为 4,096 个 token。
4. 04
   检查模型的运行位置

   运行 ollama ps：PROCESSOR 列应显示 100% GPU。否则，请减少上下文或模型大小。

如果加载失败，不要寻找奇怪的绕过用变量：当引擎和显卡都支持 Flash Attention 时，Ollama 会自动启用它，文档中说明的变量是 OLLAMA_FLASH_ATTENTION（1 表示强制启用，0 表示禁用）。故障排除指南详细介绍了常见错误。

• 逐步安装Ollama
• 排查Ollama问题：GPU未检测到、运行缓慢

#帕斯卡的生命周期结束：需要提前规划的内容

CUDA 13的版本日志显示，Maxwell、Pascal和Volta架构已不再受支持。维基百科指出，NVIDIA已于2025年12月停止这些架构的Game Ready支持，安全更新将延续至2028年10月。目前，GTX 1080 Ti可配合Ollama及570版本或更高版本的驱动程序使用：未来推理引擎可能仅支持CUDA 13。请在进行任何更新前，记录您的驱动版本和Ollama版本。

#结论：已有的可以继续用；购买则需满足条件

为了比较当前可选方案，同时避免列出每周都会变化的价格，本站页面会介绍适合各档内存容量的模型，并提供显卡价格页面的链接。

• RTX 3060 12 GB 适合哪个 LLM
• 在 RTX 2080 Ti（11 GB）上运行哪个 LLM？
• 12 GB显存适合哪些模型：涵盖各类显卡
• 比较用于 AI 的 GPU 价格

• 来源：llama.cpp 在 CUDA 上的公开基准测试
• 来源：Ollama 文档，受支持的 NVIDIA 硬件
• 来源：GeForce 10 系列，技术参数
• 数据来源：CUDA Toolkit 版本日志