NPU:它是什么,对本地 LLM 有用吗 ?

NPU(神经网络处理单元)是一种低功耗处理器,自 2024 年起集成在大多数销售的笔记本电脑芯片中,专门用于持续运行的小型 AI 任务:背景虚化、实时字幕、照片搜索。其标志性指标 TOPS 几乎无法说明它运行本地 LLM 的能力:生成速度取决于内存带宽,而 NPU 与处理器共享同一套速度较慢的 RAM。
NPU 是 Neural Processing Unit(神经网络处理单元)的缩写,是专门用于神经网络计算的处理器,集成在自 2024 年起销售的大多数笔记本电脑的芯片中。它能以仅几瓦的功耗持续执行背景模糊、实时字幕等小型 AI 任务。其主打指标 TOPS 被用作所有“AI 电脑”标签上的宣传卖点。然而,截至 2026 年 9 月 20 日,这个指标几乎无法说明一台机器在本地运行大语言模型(LLM)的能力。下面解释原因,以及应该关注哪些指标。
您正在挑选电脑吗? 按预算推荐 →
本地 AI 的高性价比之选: GMKtec EVO-X2 — Amazon 可能会显示其他配置;购买前请核对.
迷你 PC 是一台完整的机器:请检查可用内存和引擎兼容性。它不能替代 macOS/MLX 或 CUDA。
为什么选择它?我们的完整资料: GMKtec EVO-X2 — Amazon 可能会显示其他配置;购买前请核对 →
预算有限: RTX 5060 · 大型模型: RTX 5090 · Mac Studio.
移动场景: 本地 AI 选哪款笔记本电脑 →
联盟链接 — 您无需承担额外费用,我们可能获得佣金。作为 Amazon 合作伙伴,哪个LLM 会从符合条件的购买中获利。
Amazon 可能会跳转到当地商店或显示其他配置。购买前请核对商品;此链接不保证跳转目的地或商品配置。
#NPU 是什么?
从计算角度看,神经网络就是对低精度数值进行大量矩阵乘法运算,并重复数十亿次。传统处理器也能完成这些运算,但速度较慢,一次只能处理少量操作。显卡则能利用数千个计算单元并行快速处理,功耗为数十至数百瓦。NPU 是一块专门设计用于这类运算的硅电路,只做这一件事:采用针对 8 位和 4 位整数的专用固定计算单元,将小容量存储器紧邻计算单元放置,以避免代价高昂的数据往返传输,再通过调度器尽量减少数据移动。这种极度专用化的结果是:与 GPU 相比,峰值速度不高,但每瓦性能显著更高,这对依靠电池供电的设备至关重要。
这一概念比如今伴随它的营销标签更早出现。Apple 自 2017 年起就在 iPhone 中集成 Neural Engine,并从 Apple Silicon Mac 推出之初就在所有这类 Mac 中集成它;Google 的 Pixel 芯片也已连续数代内置 TPU 模块。2024 年真正发生的变化是,Intel、AMD 和 Qualcomm 同时在面向大众的笔记本电脑处理器中集成了规模可观的 NPU,而 Microsoft 随即将一整套 Windows 功能的使用条件与 NPU 挂钩,并冠以 Copilot+ PC 这一商业名称。过去两年来,商店货架上大量涌现“AI PC”标签,主要是这种汇合所致,而不只是技术本身。
#CPU、GPU、NPU:区别
| CPU | GPU | NPU | |
|---|---|---|---|
| 设计用途 | 通用逻辑、低延迟 | 大规模并行计算、图形处理 | 仅限神经网络推理 |
| AI 负载下的功耗 | 15 à 125 W | 30 W(集成)至 575 W(RTX 5090) | 1 à 10 W |
| 已用内存 | 系统 RAM | 自身的显存;若为集成式,则使用系统内存 | 系统 RAM |
| 软件支持 | 通用 | 支持范围很广:CUDA、ROCm、Metal、Vulkan | 狭窄,且各厂商专属 |
| 用武之地 | 编排,小型模型作为应急方案 | LLM、图像生成、训练 | 依靠电池供电、持续运行的轻量级 AI |
这三种芯片互为补充,并不相互竞争:每一种都有存在的理由,因为它们在速度、功耗和通用性之间采取了不同的权衡。在一台“AI PC”上,NPU 在四小时的视频会议期间处理摄像头特效,而 GPU 保持空闲,从而省下持续使用 GPU 原本会消耗的一大部分电量。如果让同一台机器运行一个拥有 140 亿参数的助手,任务就会全部交给 GPU,因为所需的内存带宽和成熟的软件支持都在那里:目前没有任何面向普通用户的运行时能够在 NPU 上运行这种规模的 LLM。
#TOPS:衡量了什么,又掩盖了什么
TOPS 指“每秒万亿次运算”(Tera Operations Per Second),几乎总是以 8 位整数运算来测量,以便比较不同技术规格表中的数值。这是在实验室有利条件下测得的峰值计算能力。它并不能说明数据从内存传到这些计算单元的速度,而这恰恰是语言模型在实际运行中的瓶颈:一个得不到足够数据的 NPU,大部分时间都在等待,无论 TOPS 数值有多高。
| 芯片系列 | 厂商公布的 NPU 性能 | 符合 Copilot+ 要求(40 TOPS 及以上) |
|---|---|---|
| Intel Core Ultra Series 1(Meteor Lake) | ≈ 11 TOPS | 否 |
| Apple M4(Neural Engine) | 38 TOPS | 不适用(macOS) |
| Qualcomm Snapdragon X Elite 和 X Plus | 45 TOPS | 是 |
| Intel Core Ultra 200V(Lunar Lake) | 48 TOPS | 是 |
| AMD Ryzen AI 300 | 50 TOPS | 是 |
| AMD Ryzen AI Max+ 395(Strix Halo) | 50 TOPS | 是 |
| Intel Core Ultra 300(Panther Lake,2026 年 1 月 CES) | 最高 50 TOPS(NPU 5) | 是 |
| AMD Ryzen AI 400 / PRO 400「Gorgon Point」(CES 2026年1月) | 最高 60 TOPS | 是 |
| Qualcomm Snapdragon X2 Elite(2026 年 1 月 CES) | 80 TOPS | 是 |
这一代产品于 2026 年 1 月在 CES 上亮相,截至 2026 年 9 月 28 日,已搭载于在售笔记本电脑中,其标称数值远超 Copilot+ 的最低门槛:Snapdragon X2 Elite 达到 80 TOPS,而上一代为 45 TOPS,几乎翻了一倍。这些变化都不影响本页的结论:下文关于共享内存带宽的论述同样适用于这些新芯片,无论其标签上的 TOPS 数值看起来多么惊人。
#为什么NPU不会加速您的LLM
为了生成一个 token,模型必须重新读取内存中绝大部分权重,从第一个到最后一个活跃参数。一个采用 Q4 量化的 140 亿参数模型大小约为 9 GB:每秒生成 20 个 token,就意味着每秒要在内存与计算单元之间传输 180 GB 的数据。相比这种持续的数据传输,算术计算本身,也就是乘法运算,成本很低。因此,生成速度取决于可用的内存带宽,而不是产品规格表上标出的 TOPS 或 TFLOPS 算力。这也解释了为什么两款 TOPS 相差很大的芯片,可能以完全相同的速度生成文本。
| 模型在哪里 | 带宽 | 9 GB 模型的理论速度上限 |
|---|---|---|
| 笔记本电脑的 LPDDR5X 内存(由 NPU 和集成 GPU 共享) | ≈ 70 至 135 GB/s | ≈ 8 至 15 tok/s |
| Ryzen AI Max+ 395 的统一内存 | 256 GB/s | ≈ 28 tok/s |
| RTX 4070(GDDR6X) | 504 GB/s | ≈ 56 tok/s |
| RTX 5070 Ti(GDDR7) | 896 GB/s | ≈ 100 tok/s |
| RTX 5090(GDDR7) | 1 792 GB/s | ≈ 200 tok/s |
50 TOPS 的 NPU 和最新芯片上的 80 TOPS NPU 一样,都位于表格的第一行。它使用与处理器共享的同一块 LPDDR5X 内存:无论标称 TOPS 数值是多少,其实际速度都不可能突破这块内存所允许的上限。因此,如果内存容量和带宽相同,一台 45 TOPS 的笔记本电脑和一台 80 TOPS 的笔记本电脑生成文本的速度就会完全一致。
NPU 真正能发挥作用的是提示词处理阶段。这个阶段主要需要的是算力,而不是带宽,因为模型会一次性处理已有的全部文本,而不是逐词生成。对于支持良好的小模型,将提示词处理交给 NPU、将生成交给集成 GPU 的混合配置,可以缩短第一个词显示前的等待时间,并降低整体功耗。这能延长续航、提升用户感受到的响应速度,效果可以通过延迟测量体现,但并不能让设备运行更大的模型,也不能提高持续生成文本的速度。
#真正的瓶颈:软件
- Ollama、llama.cpp、LM Studio
- 它们在 GPU 或 CPU 上运行。在 Copilot+ 笔记本上,它们使用集成 GPU 或处理器,不使用 NPU。
- Windows
- 微软的嵌入式模型及其 Foundry Local 环境通过 ONNX Runtime 面向 NPU,提供一组选定的小型模型。
- AMD
- Ryzen AI Software 和 Lemonade 服务器以 NPU 与集成 GPU 协同工作的混合模式运行部分 ONNX 模型。
- Intel
- 对于受支持的模型,OpenVINO 可以使用 NPU 来运行。
- Qualcomm
- QNN 工具链和 AI Hub 提供已经转换好、适用于 Hexagon NPU 的模型。
- Apple
- Core ML 使用 Neural Engine,但 Mac 上实际使用的 LLM 工具(MLX、llama.cpp、Ollama)是通过 Metal 在 GPU 上运行的。
所有这些工具的共同点是:使用 NPU,就意味着从一小批已由厂商转换并验证的模型中选择,参数量通常为 10 亿至 80 亿,而不是从 Hugging Face 随便下载一个 GGUF 就直接运行。这种转换对每家厂商都需要不同的格式和工具链,这也解释了为什么目前还没有社区项目像 llama.cpp 统一 GPU 支持那样统一 NPU 支持。
#购买前应转而关注哪些方面
- 01GPU 可使用的内存独立显卡的显存,或 Mac 或 Strix Halo 机器的统一内存。它决定了哪些模型可以加载。
- 02这种内存的带宽它直接决定每秒生成的 token 数量。
- 03软件方案NVIDIA 使用起来毫无障碍,Apple Silicon 几乎同样顺畅,AMD 在 Linux 下也有良好的支持。
- 04NPU 的 TOPS如果您想使用 Windows 的 Copilot+ 功能,并希望视频会议时有较长的电池续航,这些指标就有用。目前对开放权重 LLM 没有影响。
- 本地 AI 硬件:我们的机器规格页
- Ryzen AI Max+ 395 迷你 PC:统一内存改变格局的一个实例
- 本地 LLM 该选什么 GPU?
- Microsoft:Copilot+ 设备及其 NPU
- 来源:Wikipedia,NPU 的历史与架构
- 来源:AMD新闻稿,Ryzen AI 400(CES 2026)
#FAQ
NPU 是什么意思?+
NPU 是否比 GPU 更适合 AI?+
Ollama 或 LM Studio 是否使用 NPU?+
在本地运行 AI 需要 NPU 吗?+
需要多少 TOPS?+
2026 年的新型 NPU 芯片会给本地 AI 带来变化吗?+
有反馈、发现了错误,或想补充说明?请告诉我们,让这份指南对每个人都更有帮助。