显卡价格用于本地人工智能

要在本地运行 LLM，应该购买哪款显卡？

首先查看显存（VRAM）：模型必须完全装入显存，否则部分数据会转移到电脑的系统内存中，速度就会骤降。采用 Q4 量化时，12 GB 显存足以容纳最多约 140 亿参数的模型，16 GB 可容纳最多约 240 亿参数，24 至 32 GB 适用于 300 亿至 350 亿参数的模型，48 GB 可容纳最多约 700 亿参数。显存容量相同时，带宽决定高下：它决定生成速度。

本地 AI 应选 NVIDIA、AMD 还是 Intel？

NVIDIA仍是最省事的选择：所有工具（Ollama、LM Studio、llama.cpp、vLLM）都支持CUDA。Ollama（ROCm 7）、LM Studio和llama.cpp支持Radeon RX 9000和AI PRO R9700，但有时需要多做一些配置。Intel Arc主要通过Vulkan或SYCL（llama.cpp、LM Studio）以及OpenVINO运行：其显存通常最便宜，但生态系统也最不成熟。

用 RTX 5090 跑 AI，值这个价吗？

这是面向大众市场的最快显卡（1792 GB/s），配备32 GB显存，但最新报价为6999.95欧元，而首发价格仅为2349欧元。对于32 GB显存，Radeon AI PRO R9700（2199.95欧元）或Intel Arc Pro B70（1899.95欧元）价格更便宜，但性能大约低2.8倍。对于超大模型，一个 配备 128 GB 统一内存的迷你PC 仍为可行的替代方案。

这些价格从何而来，以及何时更新？

这些价格来自我们的合作伙伴 Materiel.net 的产品数据源，每周一和周四自动采集。对于每款芯片，我们从所有品牌中选取有现货或可在 7 天内发货的最便宜显卡。亚马逊价格不作归档：亚马逊只允许展示近期价格，因此这些价格会实时显示在按钮上。这些是推广链接：购买会为我们带来佣金，不会增加您的费用，也不会影响自动计算的排名。

如何估算速度？

生成每个 token 时，显卡都要重新读取内存中的整个模型：最高速度大致等于内存带宽除以模型大小。我们按这一理论速度的 70% 估算，采用的是一个经过 Q4 量化的 140 亿参数模型（约 9 GB）。实际测量结果会因软件和驱动而异：这只是用于比较显卡的数量级估算，并非性能承诺。