进阶 10 分钟Edge

LFM2 液体AI模型：一种替代架构用于 l'edge

Liquid AI 的 LFM2 并非又一个 Transformer：它是一个小型模型家族（3.5 亿至 80 亿参数），采用混合架构，其中大部分层使用短卷积，而非注意力机制。据 Liquid AI 公布的结果，在 CPU 上，与同等规模的 Qwen3 相比，其解码和预填充（prefill）速度约为后者的两倍，且内存占用随上下文长度增加而增长较少。本指南将说明这种架构究竟带来了哪些变化、如何使用 Ollama 或 llama.cpp 安装 LFM2、没有 GPU 时可以期待怎样的速度，以及在哪些用途上它优于传统 Transformer。

作者： Thomas P.·更新于 2026-09-24·已在 Windows、macOS 和 Linux 上测试

#Liquid AI 的 LFM2：为什么要设计面向 CPU 的模型

Liquid AI 是一家源自麻省理工学院（CSAIL）的公司，于2023年成立，专注于“液态神经网络”和连续状态模型。在第一代非开放的 LFM1 之后，该公司于2025年7月发布了第二代 LFM2 的权重，共有三种参数规模：350M、700M 和 1.2B。随后又推出了其他变体（2.6B、MoE 版本 8B-A1B、视觉和音频模型，以及后来的 LFM2.5 一代）。贯穿始终的方向没有改变：这些模型旨在设备端运行，也就是在手机、没有显卡的笔记本电脑、迷你PC或嵌入式板卡上运行。

您熟悉的小型开放模型（Qwen3、Gemma 3、Llama 3.2、SmolLM）几乎都是经典的 Transformer：每一层都会对整个上下文进行注意力计算。这在 GPU 上运行得很好，但在 CPU 上，每生成一个 token 都必须重新读取随对话增长的键值缓存（KV cache），而长提示的预填充开销也很大。LFM2 正是针对这两个问题，将大部分注意力层替换为短卷积块，后者对内存和带宽的需求要低得多。

目标
在设备上进行推理：x86 或 ARM CPU、NPU、集成 GPU。专用 GPU 并非主要平台，即使其能够运行。
明确的量化承诺
Liquid AI 宣称，在 CPU 上，解码和预填充速度最高可达到规模相近的 Qwen3 的 2 倍（已公布的测量是在 AMD Ryzen AI 9 HX 370 和 Samsung Galaxy S24 Ultra 上进行的）。
质量
在参数量相同的情况下，LFM2 在知识、指令和数学基准测试中的表现与竞争的 Transformer 模型持平或略优；1.2B 版本在 MMLU 和 IFEval 上可与 Qwen3-1.7B 媲美。
许可证
LFM Open License v1.0：年营业额低于门槛（1000 万美元）时可自由商用，超过该门槛则须联系 Liquid AI。这不是 Apache 2.0 许可证，在企业环境中部署前，请重新阅读许可文本。

#LFM 混合架构带来了哪些变化

本地 AI 套件

只需 1 小时，即可在您的电脑上拥有专属的免费 ChatGPT — LM Studio、Ollama、Open WebUI、您的文档，无需云端。

  • 在线空间，终身可用
  • PDF + 文件
  • 30 天内退款
本地 AI 套件 →或 所有套件终身使用权 — 49 € →

LFM2 堆叠了 16 个块。其中十个是双门控短程卷积块（double-gated short-range convolution），六个是类似现代 Transformer 的分组查询注意力（grouped query attention, GQA）块。Liquid AI 将这些卷积块描述为 LIV（linear input-varying）算子：应用于每个位置的权重取决于输入，这赋予该块一种类似于状态空间模型（Mamba）或现代 RNN 的选择性，但没有它们复杂的循环状态。

具体来说，一个卷积块只关注附近的几个 token。无论已经生成了多少上下文，每个 token 的计算成本都保持不变，而且无需在 KV 缓存中存储任何内容。只有六个注意力块会保留缓存，而规模相当的 Transformer 则有 28 或 36 层需要保留缓存。这对 CPU 运行有两个直接影响：

解码速度更快
生成一个token主要涉及从内存中重新读取权重和KV缓存。由于需要重新读取的缓存更少，内存带宽——这是CPU真正的瓶颈——能够被更高效地利用。
高效的预填充（Prefill）
摄入 4000 个 token 的提示（如 RAG 所需的文档或聊天历史）相比完整 Transformer 模型，成本比例更低，因为十六个区块中有十个在本地窗口内运行。
内存占用稳定
内存占用随上下文长度缓慢增加：六层的 KV 缓存仍然很小，这对手机或配备 4 GB 或 8 GB 共享 RAM 的板卡来说很重要。
原生上下文长度32k
LFM2 采用 32768 个标记的窗口进行训练（部分较新变体为 128k），足以支持轻量级摘要和 RAG 任务。

在训练方面，Liquid AI 为第一代 LFM2 使用了约 10 万亿个 token，其中英语占主导，约 20% 为多语言数据（包括法语、德语、西班牙语、阿拉伯语、中文、日语和韩语），并包含少量代码，以及从内部 LFM1-7B 模型蒸馏而来的内容。因此，LFM2-1.2B 能够进行正确的法语对话，而并非所有同规模模型都具备这一能力。

i
混合架构，而非革命性突破
LFM2 并未放弃注意力机制：六个 GQA 块保留了关联上下文中两个相距较远片段的能力。这与 Jamba（Mamba + 注意力）或 IBM 近期的 Granite 4 模型采用的是同一种折中方案，只是用于规模小得多的模型。差别在于比例以及所选的卷积算子。

#LFM2 系列：模型规模与变体

所有变体都采用相同的基础架构和聊天格式（类似 ChatML 的 im_start/im_end 标签）。下面列出对边缘计算用途有意义的变体，以及它们采用 Q4_K_M 量化时的 GGUF 文件大小估值；这个大小大致对应于在 CPU 上运行时模型权重占用的系统内存。

LFM2-350M
约250 MB，Q4量化，支持分类、提取、短文本重写，可在几乎任何设备上运行，包括树莓派或老款笔记本电脑。
LFM2-700M
Q4 量化后约为 450 MB。对于较新的手机或非常轻量的助手，这是一个不错的折中选择。
LFM2-1.2B
Q4 量化版本约为 730 MB。它是该系列的代表模型，可用于聊天、摘要、简单 RAG 和工具调用。本指南安装的就是这个模型。
LFM2-2.6B
约1.5 GB，Q4量化。2025年底发布，推理和多语言能力显著提升，仍能在无GPU的笔记本上流畅运行。
LFM2-8B-A1B
专家混合模型：总共83亿参数，每个token约激活15亿参数。Q4版本约5 GB，需要8B级别的内存，但推理速度仍相当于小型模型。
专用变体
LFM2-VL（视觉，450M和1.6B）、LFM2-Audio，以及针对数据提取、RAG或工具调用进行微调的变体。LFM2.5这一代模型（自2026年1月起）沿用该架构，并延长了训练时间；本站模型目录收录了它们的介绍页面，包括2.6B和7B版本。
→
应选择哪个模型？
在配备 8 GB 内存的笔记本电脑或迷你 PC 上：先从 1.2B 开始，如果质量不够，再换用 2.6B。在配备 16 GB 内存的设备上：8B-A1B 能力最强，同时仍能保持较快速度。在手机或 Raspberry Pi 上：选择 350M 或 700M。

#先决条件

没有什么特别之处。重点在于拥有较新版本的推理引擎：LFM2 架构的支持已于 2025 年 7 月添加到 llama.cpp，并在 Hugging Face Transformers 4.54 版本中加入。此后发布的 Ollama 和 LM Studio 版本均包含此支持，前提是进行更新。

机器
任何较新的 PC 或 Mac 均可。4 核 CPU 和 8 GB RAM 足以运行 1.2B 模型；运行 8B-A1B 则需预留 16 GB RAM。
Ollama 已更新至最新版本
Ollama 默认监听 http://localhost:11434。请在拉取模型前更新 Ollama：2025 年夏季之前的版本会拒绝加载 GGUF，并报出未知架构错误。
或 llama.cpp
使用较新的二进制版本（自行编译或从 GitHub 的 Releases 下载），即可使用 llama-cli、llama-server，尤其是用于测量速度的 llama-bench。
Python可选
用于通过 Transformers ≥ 4.54 使用原始权重（未量化），例如进行微调或导出到移动端 SDK。

#在本地安装并测试 LFM2

Liquid AI 在 Hugging Face 上以 LiquidAI 组织发布其模型，每个模型规模对应一个原始权重仓库（LiquidAI/LFM2-1.2B）和一个已量化处理的 GGUF 仓库（LiquidAI/LFM2-1.2B-GGUF）。最简单的操作是直接将 GGUF 模型导入 Ollama，无需通过 Modelfile。

  1. 01
    更新 Ollama
    在 Linux 上，请重新运行官方安装脚本；在 macOS 和 Windows 上，应用程序会自动更新或通过其菜单进行更新。请使用 ollama --version 检查版本。
  2. 02
    从 Hugging Face 拉取 GGUF
    hf.co/organisation/dépôt:quantification 这一语法适用于任何公开的 GGUF 仓库。LFM2-1.2B 的 Q4_K_M 量化版本下载大小约为 730 MB。
  3. 03
    启动首次对话
    ollama run ouvre une session interactive. Posez une question en français pour vérifier la qualité de la langue avant de creuser.
  4. 04
    强制使用 CPU 进行对比测试
    如果您的设备配备GPU，可通过设置num_gpu为0来禁用该模型的GPU使用，以观察纯CPU运行情况。
  5. 05
    接入用户界面
    模型会立即出现在Open WebUI、LM Studio或任何配置为连接11434端口的OpenAI兼容客户端中。
终端 — Ollama
# Vérifier la version (doit être récente, été 2025 ou plus)
ollama --version

# Tirer LFM2-1.2B quantifié en Q4_K_M depuis Hugging Face
ollama pull hf.co/LiquidAI/LFM2-1.2B-GGUF:Q4_K_M

# Premier chat
ollama run hf.co/LiquidAI/LFM2-1.2B-GGUF:Q4_K_M

# Même chose en CPU pur, même si un GPU est présent
ollama run hf.co/LiquidAI/LFM2-1.2B-GGUF:Q4_K_M
>>> /set parameter num_gpu 0
>>> Résume en trois phrases ce qu'est un modèle de langage.

hf.co/LiquidAI/LFM2-1.2B-GGUF:Q4_K_M 这个名称输入起来很长；请用 ollama cp 创建本地别名，将它简化为 lfm2:1.2b。对于其他参数规模，将 1.2B 替换为 350M、700M 或 2.6B；对于 MoE 模型，请使用 LiquidAI/LFM2-8B-A1B-GGUF 仓库。

终端 — 别名和 API
# Alias court
ollama cp hf.co/LiquidAI/LFM2-1.2B-GGUF:Q4_K_M lfm2:1.2b

# Appel API (compatible avec n'importe quel client Ollama)
curl http://localhost:11434/api/chat -d '{
  "model": "lfm2:1.2b",
  "messages": [{"role": "user", "content": "Explique la différence entre RAM et VRAM en deux phrases."}],
  "options": {"temperature": 0.3, "min_p": 0.15, "repeat_penalty": 1.05},
  "stream": false
}'
→
Liquid AI 推荐的设置
官方模型说明建议将 temperature 设为 0.3、min_p 设为 0.15、repetition_penalty 设为 1.05。使用 Ollama 的默认设置（temperature 为 0.8）时，1.2B 模型更容易陷入循环或偏离主题。如果在生产环境中使用 LFM2，请在 Modelfile 中设置这三个参数。

如果您更倾向于直接使用 llama.cpp，llama-cli 命令也可通过 -hf 选项使用同一个 Hugging Face 仓库。在 ARM 开发板上搭建极简服务器时，这也是应优先考虑的方案，因为 llama-server 的资源占用比 Ollama 更低。

终端 — llama.cpp
# Chat interactif, téléchargement automatique du GGUF
llama-cli -hf LiquidAI/LFM2-1.2B-GGUF:Q4_K_M -cnv \
  --temp 0.3 --min-p 0.15 --repeat-penalty 1.05 -t 8

# Serveur API OpenAI-compatible sur le port 8080
llama-server -hf LiquidAI/LFM2-1.2B-GGUF:Q4_K_M -c 8192 -t 8

最后，对于使用原始 bfloat16 权重的 Python 脚本，仅需 Transformers 即可。1.2B 模型在 bf16 下约需 2.5 GB 内存；在 CPU 上，该路径明显慢于 llama.cpp，仅适用于开发阶段。

Python — Transformers ≥ 4.54
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "LiquidAI/LFM2-1.2B"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype="bfloat16")

messages = [{"role": "user", "content": "Qu'est-ce qu'un modèle hybride convolution + attention ?"}]
inputs = tok.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")
out = model.generate(inputs, max_new_tokens=200, do_sample=True, temperature=0.3, min_p=0.15, repetition_penalty=1.05)
print(tok.decode(out[0][inputs.shape[1]:], skip_special_tokens=True))

#仅用 CPU 时的速度：实际数据

在CPU上，有两个关键指标：预填充速度（每秒处理的提示词token，决定首个词出现前的等待时间）和生成速度（每秒生成的token数量）。要准确测量这两个指标，推荐使用llama-bench工具，该工具随llama.cpp提供：它能分离出两个阶段并重复测量。即使存在GPU，也应使用-ngl 0参数强制启用CPU模式。

终端 — 测量
# Télécharger le GGUF une fois (llama-cli -hf le met en cache) puis :
llama-bench -m ~/.cache/llama.cpp/LiquidAI_LFM2-1.2B-GGUF_LFM2-1.2B-Q4_K_M.gguf \
  -ngl 0 -t 8 -p 512 -n 128

# Sortie : une ligne pp512 (prefill) et une ligne tg128 (génération), en tokens/s

# Comparer avec un transformer de taille voisine
llama-bench -m ~/.cache/llama.cpp/Qwen_Qwen3-1.7B-GGUF_Qwen3-1.7B-Q4_K_M.gguf -ngl 0 -t 8 -p 512 -n 128

以下数值反映了在常见机器上使用 llama.cpp、采用 Q4_K_M 量化并启用所有物理核心时观察到的大致水平。它们不能替代您自己的实测：内存带宽（DDR4 与 DDR5 的差别、内存通道数量）可能使两台同代电脑的结果相差一倍。

较新的笔记本电脑（8 核，DDR5）
LFM2-1.2B：生成阶段为40至70个token/秒，预填充阶段可达数百个token/秒。350M模型超过100个token/秒。2.6B模型生成速度约为25至40个token/秒。
4到6核桌面电脑，DDR4
LFM2-1.2B：20 至 35 tokens/s，远高于阅读速度。同一台机器上的 Qwen3-1.7B 则通常降至 12 至 20 tokens/s。
搭载 Apple 芯片的 Mac（仅使用 CPU）
得益于统一内存，性能与配备 DDR5 内存的笔记本电脑相当；实际使用中，您通常会让 Metal 提供加速，但即使只使用 CPU，LFM2 在 MacBook Air 上也能流畅运行。
Raspberry Pi 5（8 GB）
LFM2-1.2B：8至12个token/秒；LFM2-350M：25至35个token/秒。这是与经典Transformer模型差距最明显的领域。
LFM2-8B-A1B
使用16 GB DDR5内存时，预计可达到30至50 token/秒：每个token仅激活15亿个参数，但5 GB的模型权重必须能完整放入内存。

实际使用中，拉开差距的是预填充（prefill）。对于 1.7B 的 Transformer 模型，在 CPU 上处理一份 4,000 个 token 的文档，通常要等 15 至 30 秒才会开始响应；在 Liquid AI 发布的测试中，LFM2-1.2B 将这一等待时间缩短到接近一半，让 CPU 上的本地 RAG 真正可用，而不只是能够运行。

!
线程数不能直接照搬“所有核心数”
在混合架构 CPU（配备 P 核和 E 核的 Intel Core、Apple Silicon）上，将 -t 设为逻辑核心总数往往会降低运行速度。请仅按性能核心的数量进行测试（例如在 8P+16E 的处理器上设置 -t 8），并比较结果：差异可能达到 30%。

#在哪些场景下优先选择 LFM2

LFM2 并不是 Qwen3-8B 或 Gemma 3 12B 的替代品。在配有显存的 GPU 上，更大的 Transformer 模型会更智能，就是这样。一旦硬件成为限制因素，LFM2 的价值就会显现：没有 GPU、RAM 较少、需要节省电池电量，或需要以固定成本处理一定数量的请求。

无 GPU 笔记本电脑上的助手
在超轻薄笔记本上流畅聊天，风扇也不会疯狂运转。1.2B 或 2.6B 模型的回答速度比阅读速度还快。
在CPU服务器上批量处理
工单分类、字段提取、产品描述重写：在无GPU的虚拟机上每小时可处理数千条短请求，使用350M或700M版本。
轻量本地 RAG
快速预填充 + 32k 上下文：为笔记或内部文档建立索引，并在 CPU 上于几秒内作答。
嵌入式与智能家居场景
Raspberry Pi，工业级迷你PC，智能家居盒：解析转写后的语音指令，生成简短回复，调用工具。
移动端
Liquid AI推出其SDK LEAP（Liquid Edge AI Platform）用于iOS和Android平台，以及Apollo应用以在手机上测试模型。基于llama.cpp的App也支持GGUF模型运行。
工具调用
LFM2 的指令版模型通过专用标签原生支持函数调用，因此可用作小巧且成本低廉的智能体路由器。

相反，如果您有 GPU 和可供利用的显存，或任务需要长时间推理（数学、复杂代码），或依赖丰富的微调模型生态，就应继续使用传统 Transformer 模型：Qwen 和 Llama 在这方面仍然领先。

i
那么，与 SmolLM3、Gemma 3 1B 或 Qwen3-0.6B 相比呢？
在同等规模下，LFM2 通常在基准测试中表现稍好，在 CPU 上的速度也明显更快。代价是采用 LFM Open License：对大型企业而言，它不如 Apache 2.0 宽松；此外，生态还比较年轻，社区微调模型较少，实践经验分享也较少。

#限制与故障排除

错误信息「unknown model architecture: lfm2」
您使用的运行引擎版本太旧。请更新 Ollama、LM Studio，或使用 2025 年 7 月之后的版本重新编译 llama.cpp。
回复反复重复同一内容
将温度降至0.3，启用min_p 0.15和repeat_penalty 1.05，这是Liquid AI推荐的参数。小模型对默认设置较为敏感。
速度令人失望
请使用 ollama ps 检查模型是否已完整加载，将线程数减至性能核心的数量，并关闭耗尽内存带宽的应用程序（例如打开了几十个标签页的浏览器）。
法语表达不当
350M 的法语能力仍然有限；请改用 1.2B 或 2.6B，它们的训练语料中包含更能发挥实际作用的多语言部分。
量化过于激进
在350M或700M规模的模型上，Q4会比7B模型更严重地损害质量。对于较小规模的模型，建议使用Q8_0：文件体积依然很小（700M模型小于800 MB）。
企业许可
营业额超过 LFM Open License 规定的门槛时，商业使用需要与 Liquid AI 达成协议。投入生产使用前请核实。

#深入了解

LFM2 在无 GPU 的配置或小型设备上尤其能发挥价值。本网站的以下指南可作为本指南的补充：

不使用 GPU，在本地通过 CPU 运行 LLM
按 RAM 容量推荐的模型，以及 CPU 上以 token/秒计的基准测试，用于了解 LFM2 相较于其他方案的表现。
将 Hugging Face 上的 GGUF 模型导入 Ollama
关于 hf.co 的语法、Modelfile 以及别名的全部说明，有助于固定 LFM2 推荐参数。
在 Raspberry Pi 5 上运行 LLM
这是典型的嵌入式应用场景，LFM2 的速度在这里能发挥关键作用。
这份指南对您有帮助吗？

有反馈、发现了错误，或想补充说明？请告诉我们，让这份指南对每个人都更有帮助。