Mac M 系列上的 MLX 与 llama.cpp:2026 年谁更胜一筹 ?

在 M 系列 Mac 上,本地运行 LLM 有两种选择:Apple 的官方框架 MLX,或使用 Metal 后端的 llama.cpp。两者都利用集成 GPU 和统一内存,但理念截然不同。这篇 mlx vs llama.cpp mac 对比从 tokens/sec、模型支持、quantization 以及 Python 使用体验等方面比较两者,并根据你的使用者类型给出明确结论。
#2026 年的两大阵营
MLX 于 2023 年底发布,由 Apple 的机器学习团队开发。它是一个类似 NumPy 与 PyTorch 融合的 Python 框架,从一开始就为统一内存和 Metal 而设计。其适用范围广泛,包括 LLM、视觉、音频和微调。mlx-lm 包专门负责语言模型的推理与训练。
llama.cpp 是一个诞生于 2023 年的 C++ 项目,已成为各平台本地 LLM 推理的事实标准。在 Mac 上,其 Metal 后端会生成计算着色器,以利用 Apple Silicon 的 GPU。Ollama、LM Studio 和大多数面向普通用户的工具都由 llama.cpp 驱动。模型格式:GGUF。
#1. 安装
借助我们的经验和引导式路径,选择适合你 Mac 的工具,在日常中使用你的 AI。
- 在线空间,终身可用
- PDF + 文件
- 30 天内退款
在 MLX 方面,所有操作都通过 pip 完成。mlx-lm 运行时负责从 Hugging Face 下载、转换、量化和推理。
对于 llama.cpp,您有三种使用方式:从源码编译并启用 Metal、通过 Homebrew 安装,或使用 Ollama、LM Studio 这类封装工具。为了公平比较,我们使用从源码编译得到的二进制文件。
#2. M3 Max 和 M4 Pro 上的生成速度(tokens/秒)
以下是 2026 年两款常见设备上具有代表性的性能量级:一台配备 M3 Max 和 64 GB 内存的 MacBook Pro(内存带宽 400 GB/s),以及一台配备 M4 Pro 和 48 GB 内存的 Mac mini(内存带宽 273 GB/s)。模型在等效量化条件下进行比较——4-bit MLX 对比 Q4_K_M GGUF——使用 200 个 token 的提示词,并生成 256 个 token。
- Qwen 3.5 4B — M3 Max
- MLX 4-bit:150 tok/s · llama.cpp Q4_K_M:135 tok/s。MLX 领先约 11%。
- Qwen 3.5 9B — M3 Max
- MLX 4-bit:72 tok/s · llama.cpp Q4_K_M:66 tok/s。差距约为 9%,MLX 占优。
- Gemma 4 12B — M3 Max
- MLX 4-bit:48 tok/s · llama.cpp Q4_K_M:44 tok/s。MLX 快 9%。
- Mistral Small 24B — M3 Max
- MLX 4-bit:24 tok/s · llama.cpp Q4_K_M:22 tok/s。MLX 快 9%。
- Qwen 3.8 27B — M3 Max
- MLX 4-bit:21 tok/s · llama.cpp Q4_K_M:19 tok/s。MLX 快 10%。
- Qwen 3.5 9B — M4 Pro
- MLX 4-bit:50 tok/s · llama.cpp Q4_K_M:46 tok/s。MLX 快 9%。
这一规律明确且可复现:在纯文本生成方面,MLX 的性能领先 8% 至 15%。差异在于,MLX 的 Metal 内核由 Apple 直接编写和优化,充分利用了对 GPU 调度器及 L1/L2 缓存的深入了解。llama.cpp 也使用 Metal 内核,但这些内核更为通用。
#3. 支持 Hugging Face 模型
这是两个生态系统在实际使用中的差异之一。MLX 有自己的权重格式(.safetensors,附带 MLX 配置),而 llama.cpp 使用 GGUF。
- MLX——可用性
- Hugging Face上的mlx-community组织发布大多数热门模型(Qwen 3.5/3.8、Gemma 4、Mistral、Granite 4.2)的4位和8位版本,通常在模型发布后的一周内推出。
- MLX — 少见的模型
- 对于不常见的微调版本或鲜为人知的模型,您需要自行使用 mlx_lm.convert 进行转换。典型转换时间为 2 至 10 分钟,具体取决于模型大小。
- llama.cpp — 可用性
- GGUF 文件随处可见。对于许多模型,Bartowski、TheBloke(历史存档)、Unsloth 和官方发布方都会先发布 GGUF 格式,甚至早于 MLX 格式。
- llama.cpp — 刚发布不久的模型
- 当新架构发布时(例如全新的 MoE 或异类注意力机制),llama.cpp 必须用 C++ 实现它。典型耗时:几天到两周。MLX 基于 Python + Metal,有时跟进更快,前提是 Apple 已提前做好准备。
#4. 可用的量化版本
这可能是 llama.cpp 完全占据优势的领域。GGUF 提供约十二种量化变体(Q2_K、Q3_K_S/M/L、Q4_K_S/M、Q5_K_M、Q6_K、Q8_0,以及 IQ2_XXS 到 IQ4_NL 的 I-quants),可以精细调整大小与质量之间的权衡。
- MLX
- 4 位、6 位和 8 位量化。主要参数:group-size(分组大小,32、64、128)。没有混合精度 K-quants 的直接对应方案(Q4_K_M 在某些层上保留更高精度)。
- llama.cpp
- GGUF Q4_K_M(推荐)、Q5_K_M、Q6_K、Q8_0、FP16,以及可以进一步降低位数的 I-quants。可以通过 imatrix 进行校准。
- 观测质量
- 在大小相当的情况下,GGUF Q4_K_M 和 MLX 4-bit 得到的困惑度非常接近(差异小于 1%)。要将大型模型装入有限的 RAM(例如在 16 GB 内存上加载 Qwen 3.8 27B),llama.cpp 的 I-quants 仍能提供更细致的量化。
#5. 统一内存:谁能更好地利用它?
在 M 系列 Mac 上,CPU 和 GPU 共享同一块 RAM。没有复制,也没有 PCIe 传输,只是使用同一个内存池。这是 Apple 芯片进行 LLM 推理时的结构性优势,两个框架都能受益——但受益方式并不相同。
- MLX
- 原生面向统一内存设计。张量存储在 CPU 和 GPU 均可寻址访问的同一空间中,不作区分。NumPy 与 MLX 之间可以进行零拷贝转换。这是 Apple 在架构上的主要优势。
- llama.cpp Metal
- 分配共享的 MTLBuffer。可以运行,但增加了一层抽象。对于超出默认显存分配额度的模型,有时需要通过 sudo sysctl iogpu.wired_limit_mb 手动调整上限。
- 在 64 GB 内存上运行大型模型
- 2026年,即便是通用旗舰模型Qwen 3.8 27B,在4位量化下仅重约18 GB:64 GB统一内存足以支持大型MoE模型如Qwen 3.6 35B-A3B(约23 GB)或同一模型的Q8版本以获得最高质量。在128 GB(M3 Max顶级配置或M2 Ultra)内存平台上,可并行加载多个模型而无需妥协。
#6. Python 集成
如果您正在编写智能体或 RAG 流水线,或使用 LangChain / LlamaIndex / 自己的代码为 LLM 配备功能,那么 Python 开发体验与每秒生成的 token 数同样重要。
对于 llama.cpp,Python 集成通过 llama-cpp-python(官方绑定)实现。该 API 使用起来需要编写更多代码,风格更接近 C++,但启动服务器后即可提供兼容 OpenAI 的接口。
- MLX — 便利性
- API 非常简洁,采用类似 NumPy 的语法,并原生集成 HF Hub。对于数据科学家来说,可以立即上手。
- MLX — 局限
- 尚未内置官方的 OpenAI 兼容端点。若要向多个客户端提供模型服务,必须自行搭建 FastAPI 封装层。
- llama.cpp — 舒适体验
- Python API 还算不错,但真正的生产环境使用是通过 llama-server(二进制程序)进行的,它原生提供与 OpenAI 兼容的 /v1/chat/completions 接口。
- llama.cpp — 局限
- llama-cpp-python 的 wheel 包必须使用正确的 Metal 编译选项重新编译(CMAKE_ARGS="-DGGML_METAL=on" pip install llama-cpp-python --force-reinstall --no-cache-dir)。这会带来使用上的麻烦。
#7. 生态系统和工具
除了运行时本身,生态系统才决定您实际能做什么。
- Ollama
- 基于 llama.cpp。这是在 Mac 上运行 LLM,并在 localhost:11434 提供兼容 OpenAI 的 API 的最简单方式。
- LM Studio
- 自 2025 年起支持两种引擎:默认使用 llama.cpp,兼容的模型可选用 MLX。一键切换。
- LoRA 微调
- MLX 原生提供 mlx_lm.lora,实现简洁完善,可在集成 GPU 上运行,无需折腾。llama.cpp 不支持微调,必须使用 Unsloth 或 MLX。
- 提供模型推理服务
- 凭借 llama-server,llama.cpp 毫无争议地胜出:支持多客户端、批处理、槽位管理,并兼容 OpenAI API。MLX 方面,mlx_lm.server 自 2025 年起就已存在,但功能仍较基础。
- 视觉与音频
- MLX 拥有维护良好的扩展(mlx-vlm、mlx-whisper)。llama.cpp 通过 LLaVA / Qwen-VL 模型支持视觉功能,但具体支持情况取决于构建版本。
#各使用场景的结论
- 您希望在本地聊天中获得最高的 tokens/sec
- MLX。无需额外成本即可提升 10% 的速度,而且模型越大,差距越明显。尤其是在 4 位量化时。
- 您希望提供一个供多个客户端使用的端点(团队、应用)
- llama.cpp(llama-server 或 Ollama)。支持多槽位和批处理,兼容 OpenAI 接口,长期以来一直很稳定。
- 您每周测试大约十个不同的模型
- llama.cpp。GGUF 生态在量化版本的覆盖范围和更新及时性方面无可匹敌。
- 您正在编写 Python 项目(智能体、RAG、流水线)
- 如果一切都在本地运行,而且只面向 Mac,就用 MLX。如果希望代码能在 Linux 和 Mac 之间移植,就用 llama-cpp-python 或 Ollama 客户端。
- 您想在 Mac 上微调一个 7-13B 模型
- MLX。mlx_lm.lora 在 M3 Max / M4 Pro 搭配 32 GB 及以上内存时运行效果很好。
- 你刚开始接触,只想要一个能正常工作的 LLM
- Ollama(因此是 llama.cpp)。一条命令即可完成。
#深入了解
以下相关阅读可帮助您进一步了解这一主题:
有反馈、发现了错误,或想补充说明?请告诉我们,让这份指南对每个人都更有帮助。