> ## Content Index > Fetch the complete content index at: https://www.hubwiz.com/blog/llms.txt > Use this file to discover other available public pages before exploring further. # LFM2.5-24B-A2B：24B 参数只激活 2B，把推理智能体跑在本地设备上 - URL: https://www.hubwiz.com/blog/lfm25-24b-a2b-on-device-agents/ - Published: 2026-10-14T17:08:57.000Z - Updated: 2026-10-14T17:14:34.000Z - Description: 一个 24B 的 MoE 模型，每个 token 只激活 2B 参数，却能在工具调用上超过参数多约 50% 的对手——Liquid AI 的 LFM2.5-24B-A2B 专为"在自己硬件上持续运行智能体"设计。本文完整编译官方发布：架构、五阶段后训练（含 Agentic RL）、16 项基准、端侧与 GPU 速度、以及 transformers / 智能体框架接入。 - Author: admin - Tags: 本地 LLM, 端侧 AI, MoE, AI Agent, Liquid AI **一句话结论**：LFM2.5-24B-A2B 是一个 **24B 总参数、每 token 只激活 2B 参数**的推理模型，专为"在自己设备上持续运行的快速、私密智能体"设计。它会**先思考再回答**、能调用工具、能在主流智能体框架里完成多步任务；由于每个 token 的计算量只对应 2B 参数，**推理 token 很便宜**，可以常驻本地硬件持续工作。 本文完整编译自 Liquid AI 在 Hugging Face 发布的技术博客《Run fast, private agents on-device with LFM2.5-24B-A2B》（2026-10-13），并做中文整理。 --- ## 一、三个核心卖点 官方给出的定位很直接——**在本地跑智能体，既快又私密**： - **同类最强的智能体表现**：在智能体与工具调用任务上，与总参数和激活参数都多约 **50%** 的 Qwen3.6-35B-A3B 正面竞争；LiveClaw 基准上拿到 **48.09**，对手为 **38.19**。 - **MoE 速度下的推理**：总是先思考再回答；每 token 只有 2B 激活参数，**每个推理 token 都很便宜**。 - **高效推理**：Apple M5 Max 上 **184 tok/s**；单张 NVIDIA B300 上，高并发时最高 **21K 输出 tok/s**。 关键规格一览： | 项目 | LFM2.5-24B-A2B | | ---------- | --------------------------------------------------------------------- | | 总参数 / 激活参数 | 24B / **2B（每 token）** | | 架构 | 40 层；每个 MoE 块 64 个专家、top-4 路由；门控短卷积（gated short convolutions）+ GQA 混合 | | 上下文窗口 | **131,072（128K）tokens**（前代 32K） | | 词表 | **128K tokens**（前代 65K，采用原位 tokenizer 扩展） | | 类型 | **推理专用（reasoning-only）**：先输出显式思维链，再给最终答案 | | 权重 | 开源，Base 版与指令版均已发布 | ## 二、它是怎么造出来的：33T token 预训练 + 五阶段后训练 **架构继承自 LFM2-24B-A2B**：同样的 40 层、每块 64 专家的 MoE（top-4 路由）、以及门控短卷积与 GQA 的混合结构。这一代的变化集中在三处：**上下文从 32K 扩到 131K**；通过[原位 tokenizer 扩展](https://www.liquid.ai/blog/tokenizer-expansion?ref=hubwiz.com)把词表从 65K 翻倍到 128K（改善非拉丁语言的切分效率）；以及从指令模型变成**推理专用模型**——它总是先生成一段显式的思维链，再给出答案。 **预训练规模从约 17T tokens 扩大到约 33T tokens。** 之后是两段中间训练： - **2T tokens、32K 上下文**：权重向推理、数学、代码、指令遵循和多语言倾斜； - **300B tokens、131K 上下文**：权重向长上下文数据倾斜。 值得注意的是：**工具调用与多轮轨迹贯穿这两个阶段**——模型在预训练后的早期就开始接触"调用工具、拿到结果、继续推进"的数据形态，而不是等后训练才学。 **后训练分五个阶段，把基座模型变成智能体：** 1. **监督微调（SFT）**； 2. **教师专业化**：训练各领域的专家教师； 3. **多领域 on-policy 蒸馏（MOPD，非智能体任务）**：把专家教师蒸馏回主模型； 4. **MOPD（智能体任务）**：第二阶段蒸馏，专注智能体任务； 5. **智能体强化学习（Agentic RL）**：直接在真实智能体框架里训练模型，包括 [OpenClaw](https://openclaw.ai/?ref=hubwiz.com)、[Hermes Agent](https://hermes-agent.nousresearch.com/?ref=hubwiz.com)、[Pi](https://pi.dev/?ref=hubwiz.com) 和 [OpenCode](https://opencode.ai/?ref=hubwiz.com)。 ![LFM2.5-24B-A2B 训练配方](https://www.hubwiz.com/blog/content/images/2026/10/img_e77dacfdeaf32ff95f9489daa28ca23c.png) 最后这一步（Agentic RL）是当前开源模型训练里最值得注意的趋势：**不只是在"任务数据集"上做 RL，而是把模型放进真正的运行时里，让它与工具、环境、失败重试打交道**。这也解释了它在工具调用类基准上的表现。 ## 三、基准测试：小个子在工具调用上反超 官方把 LFM2.5-24B-A2B 与 Qwen3.6-35B-A3B、Gemma-4-26B-A4B-it、Nemotron-3.5-Lightning（30B-A3B）在 **16 项基准**上做了对比，覆盖工具使用与智能体工作流、知识、指令遵循、数学与编程。它是这一组里**最小的模型**，却与总参数和激活参数多约 50% 的 MoE 打得有来有回。 | Benchmark | LFM2.5-24B-A2B | Qwen3.6-35B-A3B | Gemma-4-26B-A4B-it | Nemotron-3.5-Lightning | | ----------------------------- | -------------- | --------------- | ------------------ | ---------------------- | | AutomationBench | **27.69** | 8.72 | 5.46 | 2.61 | | BFCLv4 | **65.01** | 65.00 | 57.09 | 53.78 | | ToolSandbox | **80.71** | 75.02 | 72.09 | 75.13 | | LiveClaw | **48.09** | 38.19 | 41.25 | 37.72 | | PinchBench | 83.18 | **89.93** | 77.12 | 84.20 | | τ³-Bench Banking | **8.04** | 7.63 | 4.54 | 7.01 | | WebArena Verified | 26.75 | **37.62** | 25.62 | 28.69 | | GPQA Diamond | 74.42 | **83.69** | 74.90 | 72.42 | | AA-Omniscience | \-24.90 | **\-24.35** | \-59.39 | \-3.58 | | HLE | 7.40 | 7.69 | **8.57** | 5.65 | | IFEval | **96.75** | 93.06 | 92.00 | 94.19 | | IFBench | **74.69** | 64.21 | 47.44 | 71.67 | | Multi-IF | **84.38** | 81.53 | 82.19 | 82.34 | | MATH-500 | 96.04 | **96.73** | 95.66 | 96.40 | | SWE-Bench Verified (OpenCode) | 51.00 | **66.20** | 25.80 | 53.40 | | SciCode | 32.71 | **37.35** | 35.42 | 27.78 | *所有模型均使用 vLLM 评估，采用各基准推荐的生成参数。* **怎么读这张表：** - **工具调用与指令遵循是强项**。LFM2.5-24B-A2B 在 8 项工具/智能体基准中的 5 项（AutomationBench、BFCLv4、ToolSandbox、LiveClaw、τ³-Bench Banking）领先或打平；其中 AutomationBench 的得分**是次优模型的 3 倍以上**。三项指令遵循基准（IFEval、IFBench、Multi-IF）全部领先。 - **知识密集型与编程仍是短板**。GPQA Diamond、HLE、AA-Omniscience 和 SWE-Bench Verified（OpenCode）、SciCode 上，更大的模型仍有优势。官方给出的使用建议很实在：**知识密集型负载请搭配检索或联网搜索**。 ![LFM2.5-24B-A2B 基准结果](https://www.hubwiz.com/blog/content/images/2026/10/img_c326e160db4c3ada4bec84041cfffda3.png) 一句话：**它是一台"会干活"的小机器，而不是"什么都懂"的大百科。** 对本地智能体来说，这个取舍是对的——需要知识时接检索，需要执行时用它的工具调用与指令遵循能力。 ## 四、推理速度：端侧 184 tok/s，单卡 B300 超 21K tok/s 官方强调"首日支持整个推理生态"：**llama.cpp、MLX、vLLM、SGLang 与 ONNX** 都可用。 **端侧推理**：在所对比的 MoE 中，LFM2.5-24B-A2B 是**最快**的一个——Apple **M5 Max 上 184 tokens/s**，**Ryzen AI Max+ 395 上 114 tokens/s**，比次优模型快至多 **1.7 倍**，同时**内存占用最少**。 ![LFM2.5-24B-A2B 端侧推理速度](https://www.hubwiz.com/blog/content/images/2026/10/img_5803d29e183072c31a6ca6685b450b1b.png) **GPU 推理**：在单张 **NVIDIA B300** 上，高并发时超过 **21K 输出 tokens/s**，是同尺寸级里最快的。 ![LFM2.5-24B-A2B GPU 推理速度](https://www.hubwiz.com/blog/content/images/2026/10/img_2aaedf067b142f266a9440e7af172d2a.png) 这两组数字对应两种完全不同的用法：**笔记本/迷你主机上的常驻助手**（几十到一百多 tok/s，够交互式使用），和**团队服务器上的共享推理端点**（B300 级别吞吐，能支撑并发智能体）。 ## 五、怎么用：transformers 三行加载，再接入智能体框架 需要 `transformers>=5.0.0`： ```bash pip install -U transformers ``` 加载并运行： ```python from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer model_id = "LiquidAI/LFM2.5-24B-A2B" model = AutoModelForCausalLM.from_pretrained( model_id, device_map="auto", dtype="bfloat16", # attn_implementation="flash_attention_2" <- 兼容的 GPU 上可打开 ) tokenizer = AutoTokenizer.from_pretrained(model_id) streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True) prompt = "What is C. elegans?" input_ids = tokenizer.apply_chat_template( [{"role": "user", "content": prompt}], add_generation_prompt=True, return_tensors="pt", tokenize=True, )["input_ids"].to(model.device) output = model.generate( input_ids, do_sample=True, temperature=0.1, top_k=50, repetition_penalty=1.05, max_new_tokens=512, streamer=streamer, ) ``` **接入智能体框架**：先用任意 OpenAI 兼容后端在本地把模型服务起来，再把智能体框架指过来。以 Hermes Agent 为例： ```bash hermes config set model.provider custom hermes config set model.base_url http://localhost:8080/v1 hermes config set model.default LFM2.5-24B-A2B hermes config set model.context_length 131072 hermes config set model.api_mode chat_completions hermes config set agent.tool_use_enforcement true ``` 端口取决于你用的服务端： | 服务后端 | 默认端口 | | --------------- | ----- | | llama.cpp / MLX | 8080 | | vLLM | 8000 | | SGLang | 30000 | | LM Studio | 1234 | 模型卡里还提供了 OpenClaw 和 Pi 的配置示例，官方文档有完整的[智能体框架指南](https://docs.liquid.ai/examples/agent-harnesses?ref=hubwiz.com)。 ## 六、上手资源 - **下载权重**：[LFM2.5-24B-A2B-Base](https://huggingface.co/LiquidAI/LFM2.5-24B-A2B-Base?ref=hubwiz.com)（基座）与 [LFM2.5-24B-A2B](https://huggingface.co/LiquidAI/LFM2.5-24B-A2B?ref=hubwiz.com)（指令/推理版）均已在 Hugging Face 开放。 - **跑本地智能体**：参考官方 [agent harness 指南](https://docs.liquid.ai/examples/agent-harnesses?ref=hubwiz.com)，支持 OpenClaw、Hermes Agent、Pi 等。 - **微调**：用官方 [fine-tuning 教程](https://github.com/Liquid4All/cookbook/tree/main/finetuning/notebooks?ref=hubwiz.com)适配自己的任务。 > 提醒：本文所有性能数字均来自官方发布，实际速度与质量取决于你的硬件、量化方式与推理后端；本地部署的隐私边界也取决于具体实现（模型权重、日志、遥测、依赖网络行为），"本地"并不自动等于"私密"。 --- ## 参考来源 - Hugging Face / Liquid AI：《Run fast, private agents on-device with LFM2.5-24B-A2B》（2026-10-13）https://huggingface.co/blog/LiquidAI/lfm25-24b-a2b - Liquid AI 发布博客：https://www.liquid.ai/blog/lfm2-5-24b-a2b - 模型卡：https://huggingface.co/LiquidAI/LFM2.5-24B-A2B ## 延伸阅读（本站） - [本地 & 自托管 LLM 完全指南](https://www.hubwiz.com/blog/local-llm-stack/) - [LFM2.5-1.2B-Thinking：边缘模型](https://www.hubwiz.com/blog/lfm2-5-1-2b-thinking-edge-model/) - [LFM2：边缘优先的基础模型系列](https://www.hubwiz.com/blog/lfm2-edge-first-foundation-model-family/) - [本地 AI 模型并非天然私密](https://www.hubwiz.com/blog/local-ai-models-are-not-automatically-private/) *本文由汇智网编译整理，转载请注明出处。*