Agent 后训练五步:SFT 教它抄,RL 才教它从错误里爬

五步里信号越来越稀:一个 token 一个值 → 一个答案一个分 → 一整段 rollout 一个结果。稀到什么程度该上环境,这份课程给了判据。

分享
Agent 后训练五步:SFT 教它抄,RL 才教它从错误里爬

后训练是预训练之后的那些训练阶段:监督微调、蒸馏、强化学习。它们把一个预训练模型变成"会听指令、会用工具、会解某类任务"的模型。而当模型要当 agent 用时,它一干就是好多轮:调工具、读结果、决定下一步。Agent 后训练就是把这些阶段用到 agent 上——训练必须覆盖整串轮次,而不是一个答案。

Hugging Face 于 2026 年 10 月 20 日发布的这篇课程索引(作者 ben burtenshaw、Sergio Paniego、merve),把这件事拆成五步,每一步都配一张方法图、一场直播或一份幻灯片、一篇讲原理的博客、以及对应的文档;部分步骤还附了用该方法做出来的示例项目。下面的顺序来自 Hugging Face YouTube 的 Training Agents 直播系列(四期正课 + 两场相关 workshop),每期讲一种后训练方法,贯穿的例子是训一个编码 agent。

一、五步一览

步骤 模型从什么里学 TRL 训练器 需要准备什么
1. SFT 一个更强模型产生的 agent 轨迹 SFTTrainer 一份 agent 轨迹数据集
2. 蒸馏 教师的 token 或概率 DistillationTrainer prompts + 一个教师模型
3. RL 每个答案的一个分数 GRPOTrainer prompts + 一个奖励函数
4. RL 环境 在环境里行动的结果 GRPOTrainer 任务 + 一个环境(OpenEnv)
5. harness 与规模化 一个真实 agent 的完整运行 AsyncGRPOTrainer 任务 + 环境 + 一个 agent harness

二、第 0 步:先把词对齐

在往下走之前,原文先把三个容易混的词定清楚:agent、harness、scaffold(可参考原文链的《Harness, Scaffold, and the AI Agent Terms Worth Getting Right》),并给了一份覆盖全部五步的 20 页总览幻灯片《Train the agent, not just the model》。如果微调本身对你还是新东西,它建议先过一遍 LLM Course。

三、第 1 步:SFT——让模型学"抄"

SFT 里模型学的是复制 agent 轨迹:一个 agent 解题过程的完整记录,包含每次工具调用和它的结果,通常由一个更强的模型产出。这一步便宜且稳定。

问题在于:模型只看得到正确轨迹,从来没见过自己的尝试。 所以当它在解题过程中犯错时,它没学过怎么从错误里恢复。原文明确说,on-policy 蒸馏与 RL 就是为了解决这一点而存在的——它们训练的是模型自己的输出。

对应资源:直播《Training Agents 1: fine-tune a coding agent》(附代码)、博客《Training Agents: Class 1, SFT from scratch》、文档 SFTTrainer。

四、第 2 步:蒸馏——教师给"每个 token"打分

蒸馏里由教师监督学生,方式有两种:教师写数据,或者教师在学生自己产出的 token 上给概率。教师可以是:

  • 一个更大的模型;
  • 多个专家模型蒸馏进一个学生(原文举的例子是 MOPD,多教师 on-policy 蒸馏);
  • 在自蒸馏的场合,就是"同一个模型 + 额外上下文"。

关键差别在信号密度:蒸馏的信号是密集的,每个 token 一个值,所以训练需要的样本比 RL 少。

代价有两个:学生被教师的知识上限卡住;而且 on-policy 蒸馏要在每个训练步都跑一次教师。而 RL 用"只检查结果的奖励"替掉了教师。

对应资源:直播《Training Agents 2: distillation》、《A brief history of distillation in AI》、《Distillation in 2026 (so far)》、文档 DistillationTrainer。

五、第 3 步:RL——只靠一个分数

强化学习里,模型从自己输出的分数里学:写一个答案,奖励函数给它打分,训练让高分答案更可能被生成。这样就不再需要教师——只要有办法检查答案就够了。

这一步用的算法是 GRPO(Group Relative Policy Optimization):对同一个 prompt 采若干答案,全部打分,把高于组内平均的那些答案的概率抬上去。因为是在组内比较,模型能知道"哪几次尝试更好",而不必另训一个模型来估这个值。

但信号比蒸馏弱:蒸馏是每个 token 一个值,RL 是整个答案一个数,所以模型需要很多次尝试才能学到东西。而且——这是本篇最要紧的一句话——在纯奖励函数下,每个答案都只是单轮、只被打一次分。想要模型动作几次、并看到每个动作的结果,就得上环境。

对应资源:直播《Training Agents 3: reinforcement learning》、博客《How frontier models train on outcomes in 2026》、项目《Fine-tuning a 350M model for structured outputs in 100 GRPO steps》、文档 GRPOTrainer。

六、第 4 步:RL 环境——奖励来自"行动之后"

这一步的奖励来自在一个环境里行动:环境保存状态、暴露工具、并在多轮里回话。环境负责跑工具、记录改了什么、并在最后检查结果(比如跑一遍编码任务的测试)。

代价也很直接:每个 episode 比一个答案长得多,于是"生成 rollout"变成了训练里最慢的部分。

对应资源:直播《Training Agents 4: from reward functions to environments》、workshop《RL for Agents》、博客《Why RL environments work now (and could not in 2016)》、两个项目(用代码画水彩、用 CARLA 做自动驾驶)、文档(TRL + OpenEnv、OpenEnv docs)。

七、第 5 步:harness 与规模化——在"它以后真正要跑的地方"训练

最后一步,每一次 rollout 都是一次完整的 agent 运行:通过一个现成的 agent harness,在一个远程沙箱里跑。用 agent 实际使用的那套 harness 来训练,意味着模型是在它将来要运行的设置里学习。

工程上两个关键点:

  • 生成与训练跑在不同的 GPU 上,这样长 episode 不会让训练器空等;
  • 训练器把更新后的权重发回 vLLM 用于下一轮生成。

对应资源:幻灯片《Training a coding agent through a harness you did not write》、博客《The ultimate guide to multi-harness RL》《One sandbox per rollout》《Keep the Tokens Flowing: lessons from 16 open-source RL libraries》、文档 AsyncGRPOTrainer、OpenEnv harnesses。

八、几个容易混的点(按原文用自己的话讲清)

"训练方法"和"训练信号"是两件事。 五步里真正变的不是训练代码有多复杂,而是模型从什么东西上得到反馈:SFT 从"别人写好的正确轨迹",蒸馏从"教师的 token 概率",RL 从"自己答案的分数",环境从"自己动作的结果",harness 从"真实跑一遍的完整结果"。GRPOTrainer 在第 3 步和第 4 步出现两次,正是这个意思——同一个优化器,换的是信号来源。

SFT 与蒸馏不是"新旧关系",而是"信号密度"不同。 原文对蒸馏的定义包含两种教师形态:写数据(那其实就是 SFT 的一种来源),或在学生自己的 token 上给概率(这才是蒸馏的独特价值,也是 on-policy 的意思)。所以"先 SFT 再蒸馏"不是必然顺序,取决于你手上有什么:有强模型的轨迹,就走 SFT;有强模型且愿意在训练时一直跑它,才走蒸馏。

"单轮 RL"不是"多轮 RL 的简化版",它少的是一个维度。 原文那句"用普通奖励函数时,每个答案都是单轮、只被打一次分",点出的正是差别所在:多轮 agent 的失败往往发生在中间某一步(调错工具、传错参数、读了过期状态),而单轮 RL 的分数只告诉你"最后答案对不对"。想让它学到"第 3 步搞砸了、第 4 步怎么补救",就必须让它在环境里真的走到第 4 步。

环境 ≠ harness。 第 4 步的环境负责"跑工具、记录状态变化、检查最终结果";第 5 步的 harness 是agent 本来就有的那套控制循环(怎么组 prompt、怎么调工具、怎么管上下文)。把训练塞进真实 harness 的意义是训练分布 = 部署分布,而不仅是"环境更真实"。

"生成比训练慢"是这个领域的基本事实。 原文在两处说了同一件事:episode 变长之后,生成 rollout 成为训练里最慢的部分;解法是把生成与训练放到不同 GPU 上,让训练器不至于空等,再把新权重发回 vLLM。这也是为什么第 5 步的训练器是异步的那一个。

九、常见问题

Q:能不能只用 SFT? 能,但要接受它的盲区。原文的判据很硬:模型"只看得到正确轨迹,从来没见过自己的尝试",所以遇到自己的错误时没学过怎么恢复。如果你的 agent 只在高度受控、错误代价为零的场景里跑,SFT 够用;一旦有不可逆动作或长任务,缺的就是恢复能力。

Q:有教师模型是不是就不用 RL 了? 看你的瓶颈。蒸馏给出的是每 token 的密集信号,样本效率高;但学生被教师的知识上限卡住,而且 on-policy 蒸馏每个训练步都要跑教师。RL 把教师换成了"只检查结果的奖励"——省掉了教师,代价是信号变稀、需要更多尝试。

Q:为什么第 4 步和第 5 步都用 GRPOTrainer? 因为算法没变,变的是 rollout 从哪来:第 4 步来自环境(工具、状态、多轮),第 5 步来自真实 harness + 远程沙箱,并且改成异步(AsyncGRPOTrainer)。

Q:什么时候必须上 OpenEnv? 当"奖励函数 + 单轮答案"这个组合装不下你的任务时。原文的说法是:纯奖励函数下每个答案只是一轮、只被打一次分;要让模型"动作几次、看到每个动作的结果",就需要一个保存状态、暴露工具、多轮回话的环境。

Q:规模化那一步最先卡在哪? 卡在吞吐。长 episode 让生成占掉大部分时间,所以先做的是"生成与训练分离",再做"权重回传给 vLLM"。

十、我们的整理:这条路线怎么选、坑在哪

10.1 五步的"信号密度"对照

把原文散在各处的判断集中到一张表上,选型就清楚了:

步骤 每条训练样本给多少监督 主要代价 主要盲区
SFT 整条轨迹(每个 token 都在监督,但只监督"正确的那种走法") 便宜、稳定;需要造轨迹数据 没见过自己的错误 → 不会恢复
蒸馏 每个 token 一个值(密集) 每步都要跑教师;学生受限于教师 教师不知道你的 harness / 工具长什么样
RL(单轮) 每个答案一个分(稀疏) 需要大量尝试;奖励函数=规格说明 只看见"最终答案",看不见中间几步
RL(环境) 每个 episode 一个结果(更稀疏、更长) rollout 成为最慢环节;环境要维护状态与工具 环境不等于生产 harness
harness + 异步 每个 episode 一个结果,但 episode 是真实运行 需要沙箱、双卡分离、权重回传 成本最高,工程耦合最深

一句话读法:越往后,信号越稀、越贵,但也越接近"它以后真正要跑的地方"。

10.2 从哪一步开始

  • 有强模型的轨迹数据、要的是"会按格式干活" → 从 SFT 起。它便宜、稳定,能快速把模型拉到及格线。
  • 有强教师、且你能承受每步跑教师的成本 → 上蒸馏。它的优势是密集信号,样本效率高于 RL。
  • 任务是"可判分"的,但只有最终结果能判 → 上 RL(GRPO)。此时不需要教师,只需要奖励函数。
  • 任务是多轮的、要调工具的、中间状态会变 → 必须上环境。纯奖励函数下"每个答案一轮"这件事本身就是瓶颈。
  • 你已经有一套生产用的 harness,希望训练与部署一致 → 上异步 + harness 那一步。

10.3 三个最常见的坑

  1. 只学正确轨迹,然后指望它自己会纠错。 原文说得最直接:SFT 的模型"只看得到正确轨迹,从来没见过自己的尝试",所以"当它犯错时,它没学过怎么从错误里恢复"。这与我们编译过的那篇多轮 RL 究竟改进了什么正好接上——那篇的实测是:agent RL 的单步动作只有 46.8%/42.8% 的状态比基座好,但在错误状态上是 65.7%/67.3%,从同一错误续跑的成功率 51.3% vs 38.6%。也就是说,RL 那一步真正买到的是"错误恢复";如果你跳过它,你的 agent 在真实环境里第一次跑偏就回不来了。
  2. 教师不知道你的 harness。 蒸馏的教师通常是通用大模型,它没见过你的工具接口、你的沙箱、你的报错格式。所以到了第 5 步(用自己的 harness 训练)时,前面蒸馏学到的东西可能需要重学——这也是原文把 harness 单列一步、而不是当作"工程细节"的原因。
  3. 奖励函数就是规格说明。 RL 那一步里,"只要有办法检查答案就够了"——反过来说,你写的奖励函数就是模型唯一会遵守的规格。它会精确地优化你写下的东西,包括你没写、但打分器恰好会奖励的漏洞。

10.4 一个务实的顺序

如果目标是"把现有 agent 从 60 分推到 80 分",我建议的顺序是:先补 SFT 把格式与工具用法固化 → 直接上环境型 RL(跳过单轮 RL 这一层,除非你的任务本来就只有一轮),最后再上 harness 异步那步做规模化。理由是这个顺序每一层的"可观测收益"都立即出现:SFT 修格式,环境 RL 修恢复能力,harness 异步修吞吐与一致性。而中间那层"单轮 RL"在多轮 agent 上收益有限——因为它的每个答案只有一轮,模型学不到"我上一步搞砸了该怎么办"。

十一、原文的资源清单(照原样列出,方便按步骤去听/去读)

步骤 直播 / 幻灯片 博客 项目 / 文档
0. 开始之前 总览幻灯片《Train the agent, not just the model》(20 页覆盖全部步骤) 《Harness, Scaffold, and the AI Agent Terms Worth Getting Right》;新手先看 LLM Course —
1. SFT Training Agents 1: fine-tune a coding agent(附代码) Training Agents: Class 1, SFT from scratch 文档 SFTTrainer
2. 蒸馏 Training Agents 2: distillation A brief history of distillation in AI;Distillation in 2026 (so far) 文档 DistillationTrainer
3. RL Training Agents 3: reinforcement learning How frontier models train on outcomes in 2026 项目:Fine-tuning a 350M model for structured outputs in 100 GRPO steps;文档 GRPOTrainer
4. RL 环境 Training Agents 4: from reward functions to environments;RL for Agents Workshop Why RL environments work now (and could not in 2016) 项目:Paint watercolours with code、Autonomous driving with CARLA;文档:TRL + OpenEnv、OpenEnv docs
5. harness 与规模化 幻灯片:Training a coding agent through a harness you did not write The ultimate guide to multi-harness RL;One sandbox per rollout;Keep the Tokens Flowing: lessons from 16 open-source RL libraries 文档:AsyncGRPOTrainer、OpenEnv harnesses

原文还有三个"mentioned in this article"集合页(1 个模型、3 个 Space、3 个 Collection),指向课程用到的示例产物;这些在原文页面侧栏,不属于正文步骤。

来源

  • ben burtenshaw、Sergio Paniego、merve,A curriculum for post-training agents,Hugging Face 社区文章,2026-10-20
  • 原文系列:Training Agents 直播(4 期 + 2 场 workshop)、Post-training Agents 播放列表;涉及 SFTTrainer / DistillationTrainer / GRPOTrainer / AsyncGRPOTrainer 与 OpenEnv
  • 本文补充的对照数据来自本站编译的 多轮强化学习赢在哪里(arXiv 2611.06483)

本文由汇智网编译整理,转载请注明出处。

这是「Agent / MCP」专题的一部分。完整地图见:Agent / MCP / 自动化完全指南