入门 11 分钟NPU

NPU:它是什么,对本地 LLM 有用吗 ?

NPU:是什么?对本地 LLM 有用吗?
直接回答

NPU(神经网络处理单元)是一种低功耗处理器,自 2024 年起集成在大多数销售的笔记本电脑芯片中,专门用于持续运行的小型 AI 任务:背景虚化、实时字幕、照片搜索。其标志性指标 TOPS 几乎无法说明它运行本地 LLM 的能力:生成速度取决于内存带宽,而 NPU 与处理器共享同一套速度较慢的 RAM。

NPU 是 Neural Processing Unit(神经网络处理单元)的缩写,是专门用于神经网络计算的处理器,集成在自 2024 年起销售的大多数笔记本电脑的芯片中。它能以仅几瓦的功耗持续执行背景模糊、实时字幕等小型 AI 任务。其主打指标 TOPS 被用作所有“AI 电脑”标签上的宣传卖点。然而,截至 2026 年 9 月 20 日,这个指标几乎无法说明一台机器在本地运行大语言模型(LLM)的能力。下面解释原因,以及应该关注哪些指标。

您正在挑选电脑吗? 按预算推荐 →

作者: Mohamed Meguedmi·更新于 2026-09-28·已在 Windows、macOS 和 Linux 上测试
推荐硬件

本地 AI 的高性价比之选: GMKtec EVO-X2 — Amazon 可能会显示其他配置;购买前请核对.

迷你 PC 是一台完整的机器:请检查可用内存和引擎兼容性。它不能替代 macOS/MLX 或 CUDA。

为什么选择它?我们的完整资料: GMKtec EVO-X2 — Amazon 可能会显示其他配置;购买前请核对 →

按预算比较所有选项,从 800 到 3 500 € →

预算有限: RTX 5060 · 大型模型: RTX 5090 · Mac Studio.

移动场景: 本地 AI 选哪款笔记本电脑 →

联盟链接 — 您无需承担额外费用,我们可能获得佣金。作为 Amazon 合作伙伴,哪个LLM 会从符合条件的购买中获利。

Amazon 可能会跳转到当地商店或显示其他配置。购买前请核对商品;此链接不保证跳转目的地或商品配置。

#NPU 是什么?

从计算角度看,神经网络就是对低精度数值进行大量矩阵乘法运算,并重复数十亿次。传统处理器也能完成这些运算,但速度较慢,一次只能处理少量操作。显卡则能利用数千个计算单元并行快速处理,功耗为数十至数百瓦。NPU 是一块专门设计用于这类运算的硅电路,只做这一件事:采用针对 8 位和 4 位整数的专用固定计算单元,将小容量存储器紧邻计算单元放置,以避免代价高昂的数据往返传输,再通过调度器尽量减少数据移动。这种极度专用化的结果是:与 GPU 相比,峰值速度不高,但每瓦性能显著更高,这对依靠电池供电的设备至关重要。

这一概念比如今伴随它的营销标签更早出现。Apple 自 2017 年起就在 iPhone 中集成 Neural Engine,并从 Apple Silicon Mac 推出之初就在所有这类 Mac 中集成它;Google 的 Pixel 芯片也已连续数代内置 TPU 模块。2024 年真正发生的变化是,Intel、AMD 和 Qualcomm 同时在面向大众的笔记本电脑处理器中集成了规模可观的 NPU,而 Microsoft 随即将一整套 Windows 功能的使用条件与 NPU 挂钩,并冠以 Copilot+ PC 这一商业名称。过去两年来,商店货架上大量涌现“AI PC”标签,主要是这种汇合所致,而不只是技术本身。

#CPU、GPU、NPU:区别

CPUGPUNPU
设计用途通用逻辑、低延迟大规模并行计算、图形处理仅限神经网络推理
AI 负载下的功耗15 à 125 W30 W(集成)至 575 W(RTX 5090)1 à 10 W
已用内存系统 RAM自身的显存;若为集成式,则使用系统内存系统 RAM
软件支持通用支持范围很广:CUDA、ROCm、Metal、Vulkan狭窄,且各厂商专属
用武之地编排,小型模型作为应急方案LLM、图像生成、训练依靠电池供电、持续运行的轻量级 AI

这三种芯片互为补充,并不相互竞争:每一种都有存在的理由,因为它们在速度、功耗和通用性之间采取了不同的权衡。在一台“AI PC”上,NPU 在四小时的视频会议期间处理摄像头特效,而 GPU 保持空闲,从而省下持续使用 GPU 原本会消耗的一大部分电量。如果让同一台机器运行一个拥有 140 亿参数的助手,任务就会全部交给 GPU,因为所需的内存带宽和成熟的软件支持都在那里:目前没有任何面向普通用户的运行时能够在 NPU 上运行这种规模的 LLM。

#TOPS:衡量了什么,又掩盖了什么

TOPS 指“每秒万亿次运算”(Tera Operations Per Second),几乎总是以 8 位整数运算来测量,以便比较不同技术规格表中的数值。这是在实验室有利条件下测得的峰值计算能力。它并不能说明数据从内存传到这些计算单元的速度,而这恰恰是语言模型在实际运行中的瓶颈:一个得不到足够数据的 NPU,大部分时间都在等待,无论 TOPS 数值有多高。

厂商数据 · 测量方法各不相同,数值相差几点并无显著意义
芯片系列厂商公布的 NPU 性能符合 Copilot+ 要求(40 TOPS 及以上)
Intel Core Ultra Series 1(Meteor Lake)≈ 11 TOPS否
Apple M4(Neural Engine)38 TOPS不适用(macOS)
Qualcomm Snapdragon X Elite 和 X Plus45 TOPS是
Intel Core Ultra 200V(Lunar Lake)48 TOPS是
AMD Ryzen AI 30050 TOPS是
AMD Ryzen AI Max+ 395(Strix Halo)50 TOPS是
Intel Core Ultra 300(Panther Lake,2026 年 1 月 CES)最高 50 TOPS(NPU 5)是
AMD Ryzen AI 400 / PRO 400「Gorgon Point」(CES 2026年1月)最高 60 TOPS是
Qualcomm Snapdragon X2 Elite(2026 年 1 月 CES)80 TOPS是

这一代产品于 2026 年 1 月在 CES 上亮相,截至 2026 年 9 月 28 日,已搭载于在售笔记本电脑中,其标称数值远超 Copilot+ 的最低门槛:Snapdragon X2 Elite 达到 80 TOPS,而上一代为 45 TOPS,几乎翻了一倍。这些变化都不影响本页的结论:下文关于共享内存带宽的论述同样适用于这些新芯片,无论其标签上的 TOPS 数值看起来多么惊人。

#为什么NPU不会加速您的LLM

为了生成一个 token,模型必须重新读取内存中绝大部分权重,从第一个到最后一个活跃参数。一个采用 Q4 量化的 140 亿参数模型大小约为 9 GB:每秒生成 20 个 token,就意味着每秒要在内存与计算单元之间传输 180 GB 的数据。相比这种持续的数据传输,算术计算本身,也就是乘法运算,成本很低。因此,生成速度取决于可用的内存带宽,而不是产品规格表上标出的 TOPS 或 TFLOPS 算力。这也解释了为什么两款 TOPS 相差很大的芯片,可能以完全相同的速度生成文本。

理论上限 = 带宽 ÷ 模型大小(Qwen 3 14B 使用 Q4 时为 9 GB,QuelLLM 目录中的数据)。实际系统会接近这一上限,但达不到。
模型在哪里带宽9 GB 模型的理论速度上限
笔记本电脑的 LPDDR5X 内存(由 NPU 和集成 GPU 共享)≈ 70 至 135 GB/s≈ 8 至 15 tok/s
Ryzen AI Max+ 395 的统一内存256 GB/s≈ 28 tok/s
RTX 4070(GDDR6X)504 GB/s≈ 56 tok/s
RTX 5070 Ti(GDDR7)896 GB/s≈ 100 tok/s
RTX 5090(GDDR7)1 792 GB/s≈ 200 tok/s

50 TOPS 的 NPU 和最新芯片上的 80 TOPS NPU 一样,都位于表格的第一行。它使用与处理器共享的同一块 LPDDR5X 内存:无论标称 TOPS 数值是多少,其实际速度都不可能突破这块内存所允许的上限。因此,如果内存容量和带宽相同,一台 45 TOPS 的笔记本电脑和一台 80 TOPS 的笔记本电脑生成文本的速度就会完全一致。

NPU 真正能发挥作用的是提示词处理阶段。这个阶段主要需要的是算力,而不是带宽,因为模型会一次性处理已有的全部文本,而不是逐词生成。对于支持良好的小模型,将提示词处理交给 NPU、将生成交给集成 GPU 的混合配置,可以缩短第一个词显示前的等待时间,并降低整体功耗。这能延长续航、提升用户感受到的响应速度,效果可以通过延迟测量体现,但并不能让设备运行更大的模型,也不能提高持续生成文本的速度。

#真正的瓶颈:软件

Ollama、llama.cpp、LM Studio
它们在 GPU 或 CPU 上运行。在 Copilot+ 笔记本上,它们使用集成 GPU 或处理器,不使用 NPU。
Windows
微软的嵌入式模型及其 Foundry Local 环境通过 ONNX Runtime 面向 NPU,提供一组选定的小型模型。
AMD
Ryzen AI Software 和 Lemonade 服务器以 NPU 与集成 GPU 协同工作的混合模式运行部分 ONNX 模型。
Intel
对于受支持的模型,OpenVINO 可以使用 NPU 来运行。
Qualcomm
QNN 工具链和 AI Hub 提供已经转换好、适用于 Hexagon NPU 的模型。
Apple
Core ML 使用 Neural Engine,但 Mac 上实际使用的 LLM 工具(MLX、llama.cpp、Ollama)是通过 Metal 在 GPU 上运行的。

所有这些工具的共同点是:使用 NPU,就意味着从一小批已由厂商转换并验证的模型中选择,参数量通常为 10 亿至 80 亿,而不是从 Hugging Face 随便下载一个 GGUF 就直接运行。这种转换对每家厂商都需要不同的格式和工具链,这也解释了为什么目前还没有社区项目像 llama.cpp 统一 GPU 支持那样统一 NPU 支持。

#购买前应转而关注哪些方面

  1. 01
    GPU 可使用的内存
    独立显卡的显存,或 Mac 或 Strix Halo 机器的统一内存。它决定了哪些模型可以加载。
  2. 02
    这种内存的带宽
    它直接决定每秒生成的 token 数量。
  3. 03
    软件方案
    NVIDIA 使用起来毫无障碍,Apple Silicon 几乎同样顺畅,AMD 在 Linux 下也有良好的支持。
  4. 04
    NPU 的 TOPS
    如果您想使用 Windows 的 Copilot+ 功能,并希望视频会议时有较长的电池续航,这些指标就有用。目前对开放权重 LLM 没有影响。

#FAQ

NPU 是什么意思?+
Neural Processing Unit,即神经处理单元。这是处理器中专门用于高效运行神经网络的模块,与 CPU 和 GPU 并存,见于大多数较新的笔记本电脑和手机芯片。它持续处理小型 AI 任务,例如视频会议中的背景虚化,而不会使电池发热或迅速耗尽电量。
NPU 是否比 GPU 更适合 AI?+
对于小型持续任务,它的能耗明显更低,大约为 1 到 10 W,而 GPU 为 30 W 及以上。对于大型模型、LLM 和图像生成器,GPU 仍然快得多,而且软件支持也好得多。它们并不是竞争关系:它们只是执行不同的工作,面向的模型规模也不同。
Ollama 或 LM Studio 是否使用 NPU?+
截至 2026 年 9 月 28 日,不使用。它们在 GPU 上运行,根据硬件使用 CUDA、ROCm、Metal 或 Vulkan,实在没有其他选择时才在 CPU 上运行。使用 NPU 需要各厂商专用的工具:Windows 的 ONNX Runtime、AMD 的 Ryzen AI Software、Intel 的 OpenVINO,每种工具支持的已转换模型列表都很有限。
在本地运行 AI 需要 NPU 吗?+
不,完全不需要。任何配备性能尚可的 GPU 或足够统一内存的机器,都能在完全没有 NPU 的情况下运行本地模型,2024 年之前就已经如此。只有启用 Windows 特有的 Copilot+ 功能才需要 NPU;Ollama、LM Studio 或其他常见推理工具都不要求配备 NPU。
需要多少 TOPS?+
40 TOPS 是 Microsoft Copilot+ PC 标签的门槛。2026 年 1 月 CES 发布的芯片——Panther Lake、Ryzen AI 400 和 Snapdragon X2 Elite——现在分别达到 50、60 以及最高 80 TOPS。超过 Copilot+ 门槛后,差异几乎不会带来可感知的实际效果,而且对本地 LLM 的生成速度完全没有影响。
2026 年的新型 NPU 芯片会给本地 AI 带来变化吗?+
没有,至少对 LLM 而言没有。Panther Lake、Ryzen AI 400 和 Snapdragon X2 Elite 提高了标称 TOPS,但 NPU 仍使用与处理器相同的系统内存,并没有相应的带宽提升。限制语言模型生成速度的瓶颈与上一代芯片完全相同。

这份指南对您有帮助吗?

有反馈、发现了错误,或想补充说明?请告诉我们,让这份指南对每个人都更有帮助。