LFM2.5-24B-A2B：24B 参数只激活 2B，把推理智能体跑在本地设备上

一句话结论：LFM2.5-24B-A2B 是一个 24B 总参数、每 token 只激活 2B 参数的推理模型，专为"在自己设备上持续运行的快速、私密智能体"设计。它会先思考再回答、能调用工具、能在主流智能体框架里完成多步任务；由于每个 token 的计算量只对应 2B 参数，推理 token 很便宜，可以常驻本地硬件持续工作。

本文完整编译自 Liquid AI 在 Hugging Face 发布的技术博客《Run fast, private agents on-device with LFM2.5-24B-A2B》（2026-10-13），并做中文整理。

一、三个核心卖点

官方给出的定位很直接——在本地跑智能体，既快又私密：

• 同类最强的智能体表现：在智能体与工具调用任务上，与总参数和激活参数都多约 50% 的 Qwen3.6-35B-A3B 正面竞争；LiveClaw 基准上拿到 48.09，对手为 38.19。
• MoE 速度下的推理：总是先思考再回答；每 token 只有 2B 激活参数，每个推理 token 都很便宜。
• 高效推理：Apple M5 Max 上 184 tok/s；单张 NVIDIA B300 上，高并发时最高 21K 输出 tok/s。

关键规格一览：

二、它是怎么造出来的：33T token 预训练 + 五阶段后训练

架构继承自 LFM2-24B-A2B：同样的 40 层、每块 64 专家的 MoE（top-4 路由）、以及门控短卷积与 GQA 的混合结构。这一代的变化集中在三处：上下文从 32K 扩到 131K；通过原位 tokenizer 扩展把词表从 65K 翻倍到 128K（改善非拉丁语言的切分效率）；以及从指令模型变成推理专用模型——它总是先生成一段显式的思维链，再给出答案。

预训练规模从约 17T tokens 扩大到约 33T tokens。 之后是两段中间训练：

• 2T tokens、32K 上下文：权重向推理、数学、代码、指令遵循和多语言倾斜；
• 300B tokens、131K 上下文：权重向长上下文数据倾斜。

值得注意的是：工具调用与多轮轨迹贯穿这两个阶段——模型在预训练后的早期就开始接触"调用工具、拿到结果、继续推进"的数据形态，而不是等后训练才学。

后训练分五个阶段，把基座模型变成智能体：

1. 监督微调（SFT）；
2. 教师专业化：训练各领域的专家教师；
3. 多领域 on-policy 蒸馏（MOPD，非智能体任务）：把专家教师蒸馏回主模型；
4. MOPD（智能体任务）：第二阶段蒸馏，专注智能体任务；
5. 智能体强化学习（Agentic RL）：直接在真实智能体框架里训练模型，包括 OpenClaw、Hermes Agent、Pi 和 OpenCode。

最后这一步（Agentic RL）是当前开源模型训练里最值得注意的趋势：不只是在"任务数据集"上做 RL，而是把模型放进真正的运行时里，让它与工具、环境、失败重试打交道。这也解释了它在工具调用类基准上的表现。

三、基准测试：小个子在工具调用上反超

官方把 LFM2.5-24B-A2B 与 Qwen3.6-35B-A3B、Gemma-4-26B-A4B-it、Nemotron-3.5-Lightning（30B-A3B）在 16 项基准上做了对比，覆盖工具使用与智能体工作流、知识、指令遵循、数学与编程。它是这一组里最小的模型，却与总参数和激活参数多约 50% 的 MoE 打得有来有回。

所有模型均使用 vLLM 评估，采用各基准推荐的生成参数。

怎么读这张表：

• 工具调用与指令遵循是强项。LFM2.5-24B-A2B 在 8 项工具/智能体基准中的 5 项（AutomationBench、BFCLv4、ToolSandbox、LiveClaw、τ³-Bench Banking）领先或打平；其中 AutomationBench 的得分是次优模型的 3 倍以上。三项指令遵循基准（IFEval、IFBench、Multi-IF）全部领先。
• 知识密集型与编程仍是短板。GPQA Diamond、HLE、AA-Omniscience 和 SWE-Bench Verified（OpenCode）、SciCode 上，更大的模型仍有优势。官方给出的使用建议很实在：知识密集型负载请搭配检索或联网搜索。

一句话：它是一台"会干活"的小机器，而不是"什么都懂"的大百科。 对本地智能体来说，这个取舍是对的——需要知识时接检索，需要执行时用它的工具调用与指令遵循能力。

四、推理速度：端侧 184 tok/s，单卡 B300 超 21K tok/s

官方强调"首日支持整个推理生态"：llama.cpp、MLX、vLLM、SGLang 与 ONNX 都可用。

端侧推理：在所对比的 MoE 中，LFM2.5-24B-A2B 是最快的一个——Apple M5 Max 上 184 tokens/s，Ryzen AI Max+ 395 上 114 tokens/s，比次优模型快至多 1.7 倍，同时内存占用最少。

GPU 推理：在单张 NVIDIA B300 上，高并发时超过 21K 输出 tokens/s，是同尺寸级里最快的。

这两组数字对应两种完全不同的用法：笔记本/迷你主机上的常驻助手（几十到一百多 tok/s，够交互式使用），和团队服务器上的共享推理端点（B300 级别吞吐，能支撑并发智能体）。

五、怎么用：transformers 三行加载，再接入智能体框架

需要 transformers>=5.0.0：

pip install -U transformers

加载并运行：

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

model_id = "LiquidAI/LFM2.5-24B-A2B"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    dtype="bfloat16",
#   attn_implementation="flash_attention_2" <- 兼容的 GPU 上可打开
)
tokenizer = AutoTokenizer.from_pretrained(model_id)
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

prompt = "What is C. elegans?"

input_ids = tokenizer.apply_chat_template(
    [{"role": "user", "content": prompt}],
    add_generation_prompt=True,
    return_tensors="pt",
    tokenize=True,
)["input_ids"].to(model.device)

output = model.generate(
    input_ids,
    do_sample=True,
    temperature=0.1,
    top_k=50,
    repetition_penalty=1.05,
    max_new_tokens=512,
    streamer=streamer,
)

接入智能体框架：先用任意 OpenAI 兼容后端在本地把模型服务起来，再把智能体框架指过来。以 Hermes Agent 为例：

hermes config set model.provider custom
hermes config set model.base_url http://localhost:8080/v1
hermes config set model.default LFM2.5-24B-A2B
hermes config set model.context_length 131072
hermes config set model.api_mode chat_completions
hermes config set agent.tool_use_enforcement true

端口取决于你用的服务端：

模型卡里还提供了 OpenClaw 和 Pi 的配置示例，官方文档有完整的智能体框架指南。

六、上手资源

• 下载权重：LFM2.5-24B-A2B-Base（基座）与 LFM2.5-24B-A2B（指令/推理版）均已在 Hugging Face 开放。
• 跑本地智能体：参考官方 agent harness 指南，支持 OpenClaw、Hermes Agent、Pi 等。
• 微调：用官方 fine-tuning 教程适配自己的任务。

提醒：本文所有性能数字均来自官方发布，实际速度与质量取决于你的硬件、量化方式与推理后端；本地部署的隐私边界也取决于具体实现（模型权重、日志、遥测、依赖网络行为），"本地"并不自动等于"私密"。

参考来源

• Hugging Face / Liquid AI：《Run fast, private agents on-device with LFM2.5-24B-A2B》（2026-10-13）https://huggingface.co/blog/LiquidAI/lfm25-24b-a2b
• Liquid AI 发布博客：https://www.liquid.ai/blog/lfm2-5-24b-a2b
• 模型卡：https://huggingface.co/LiquidAI/LFM2.5-24B-A2B

延伸阅读（本站）

• 本地 & 自托管 LLM 完全指南
• LFM2.5-1.2B-Thinking：边缘模型
• LFM2：边缘优先的基础模型系列
• 本地 AI 模型并非天然私密

本文由汇智网编译整理，转载请注明出处。