> ## Content Index
> Fetch the complete content index at: https://www.hubwiz.com/blog/llms.txt
> Use this file to discover other available public pages before exploring further.

# Agent 后训练五步：SFT 教它抄，RL 才教它从错误里爬
- URL: https://www.hubwiz.com/blog/agent-post-training-curriculum-five-steps/
- Published: 2026-11-15T16:43:33.000Z
- Updated: 2026-11-15T16:44:33.000Z
- Description: 五步里信号越来越稀：一个 token 一个值 → 一个答案一个分 → 一整段 rollout 一个结果。稀到什么程度该上环境，这份课程给了判据。
- Author: admin
- Tags: Agent 后训练, 强化学习, 蒸馏, TRL, RL 环境

后训练是预训练之后的那些训练阶段：监督微调、蒸馏、强化学习。它们把一个预训练模型变成"会听指令、会用工具、会解某类任务"的模型。而当模型要当 agent 用时，它一干就是**好多轮**：调工具、读结果、决定下一步。**Agent 后训练就是把这些阶段用到 agent 上**——训练必须覆盖整串轮次，而不是一个答案。

Hugging Face 于 2026 年 10 月 20 日发布的这篇课程索引（作者 ben burtenshaw、Sergio Paniego、merve），把这件事拆成**五步**，每一步都配一张方法图、一场直播或一份幻灯片、一篇讲原理的博客、以及对应的文档；部分步骤还附了用该方法做出来的示例项目。下面的顺序来自 Hugging Face YouTube 的 **Training Agents** 直播系列（四期正课 + 两场相关 workshop），每期讲一种后训练方法，贯穿的例子是**训一个编码 agent**。

## 一、五步一览

| 步骤               | 模型从什么里学            | TRL 训练器             | 需要准备什么                     |
| ---------------- | ------------------ | ------------------- | -------------------------- |
| 1\. SFT          | 一个更强模型产生的 agent 轨迹 | SFTTrainer          | 一份 agent 轨迹数据集             |
| 2\. 蒸馏           | 教师的 token 或概率      | DistillationTrainer | prompts + 一个教师模型           |
| 3\. RL           | 每个答案的一个分数          | GRPOTrainer         | prompts + 一个奖励函数           |
| 4\. RL 环境        | 在环境里行动的结果          | GRPOTrainer         | 任务 + 一个环境（OpenEnv）         |
| 5\. harness 与规模化 | 一个真实 agent 的完整运行   | AsyncGRPOTrainer    | 任务 + 环境 + 一个 agent harness |

## 二、第 0 步：先把词对齐

在往下走之前，原文先把三个容易混的词定清楚：**agent**、**harness**、**scaffold**（可参考原文链的《Harness, Scaffold, and the AI Agent Terms Worth Getting Right》），并给了一份覆盖全部五步的 20 页总览幻灯片《Train the agent, not just the model》。如果微调本身对你还是新东西，它建议先过一遍 LLM Course。

## 三、第 1 步：SFT——让模型学"抄"

SFT 里模型学的是**复制 agent 轨迹**：一个 agent 解题过程的完整记录，包含每次工具调用和它的结果，通常由一个更强的模型产出。这一步**便宜且稳定**。

问题在于：**模型只看得到正确轨迹，从来没见过自己的尝试。** 所以当它在解题过程中犯错时，它**没学过怎么从错误里恢复**。原文明确说，on-policy 蒸馏与 RL 就是为了解决这一点而存在的——它们训练的是**模型自己的输出**。

对应资源：直播《Training Agents 1: fine-tune a coding agent》（附代码）、博客《Training Agents: Class 1, SFT from scratch》、文档 `SFTTrainer`。

## 四、第 2 步：蒸馏——教师给"每个 token"打分

蒸馏里由教师监督学生，方式有两种：教师写数据，或者教师**在学生自己产出的 token 上给概率**。教师可以是：

- 一个更大的模型；
- 多个专家模型蒸馏进一个学生（原文举的例子是 **MOPD**，多教师 on-policy 蒸馏）；
- 在**自蒸馏**的场合，就是"同一个模型 + 额外上下文"。

关键差别在**信号密度**：蒸馏的信号是**密集的，每个 token 一个值**，所以训练需要的样本比 RL 少。

代价有两个：**学生被教师的知识上限卡住**；而且 **on-policy 蒸馏要在每个训练步都跑一次教师**。而 RL 用"只检查结果的奖励"替掉了教师。

对应资源：直播《Training Agents 2: distillation》、《A brief history of distillation in AI》、《Distillation in 2026 (so far)》、文档 `DistillationTrainer`。

## 五、第 3 步：RL——只靠一个分数

强化学习里，模型从**自己输出的分数**里学：写一个答案，奖励函数给它打分，训练让高分答案更可能被生成。这样就不再需要教师——**只要有办法检查答案就够了**。

这一步用的算法是 **GRPO（Group Relative Policy Optimization）**：对同一个 prompt 采若干答案，全部打分，把**高于组内平均**的那些答案的概率抬上去。因为是在组内比较，模型能知道"哪几次尝试更好"，而不必另训一个模型来估这个值。

但信号比蒸馏**弱**：蒸馏是每个 token 一个值，RL 是**整个答案一个数**，所以模型需要很多次尝试才能学到东西。而且——这是本篇最要紧的一句话——**在纯奖励函数下，每个答案都只是单轮、只被打一次分**。想要模型**动作几次、并看到每个动作的结果**，就得上环境。

对应资源：直播《Training Agents 3: reinforcement learning》、博客《How frontier models train on outcomes in 2026》、项目《Fine-tuning a 350M model for structured outputs in 100 GRPO steps》、文档 `GRPOTrainer`。

## 六、第 4 步：RL 环境——奖励来自"行动之后"

这一步的奖励来自**在一个环境里行动**：环境保存状态、暴露工具、并在多轮里回话。环境负责跑工具、记录改了什么、并在最后检查结果（比如跑一遍编码任务的测试）。

代价也很直接：**每个 episode 比一个答案长得多，于是"生成 rollout"变成了训练里最慢的部分。**

对应资源：直播《Training Agents 4: from reward functions to environments》、workshop《RL for Agents》、博客《Why RL environments work now (and could not in 2016)》、两个项目（用代码画水彩、用 CARLA 做自动驾驶）、文档（TRL + OpenEnv、OpenEnv docs）。

## 七、第 5 步：harness 与规模化——在"它以后真正要跑的地方"训练

最后一步，**每一次 rollout 都是一次完整的 agent 运行**：通过一个现成的 agent harness，在一个远程沙箱里跑。用 agent 实际使用的那套 harness 来训练，意味着**模型是在它将来要运行的设置里学习**。

工程上两个关键点：

- **生成与训练跑在不同的 GPU 上**，这样长 episode 不会让训练器空等；
- 训练器把更新后的权重**发回 vLLM** 用于下一轮生成。

对应资源：幻灯片《Training a coding agent through a harness you did not write》、博客《The ultimate guide to multi-harness RL》《One sandbox per rollout》《Keep the Tokens Flowing: lessons from 16 open-source RL libraries》、文档 `AsyncGRPOTrainer`、OpenEnv harnesses。

## 八、几个容易混的点（按原文用自己的话讲清）

**"训练方法"和"训练信号"是两件事。** 五步里真正变的不是训练代码有多复杂，而是**模型从什么东西上得到反馈**：SFT 从"别人写好的正确轨迹"，蒸馏从"教师的 token 概率"，RL 从"自己答案的分数"，环境从"自己动作的结果"，harness 从"真实跑一遍的完整结果"。`GRPOTrainer` 在第 3 步和第 4 步出现两次，正是这个意思——**同一个优化器，换的是信号来源**。

**SFT 与蒸馏不是"新旧关系"，而是"信号密度"不同。** 原文对蒸馏的定义包含两种教师形态：写数据（那其实就是 SFT 的一种来源），或**在学生自己的 token 上给概率**（这才是蒸馏的独特价值，也是 on-policy 的意思）。所以"先 SFT 再蒸馏"不是必然顺序，取决于你手上有什么：有强模型的轨迹，就走 SFT；有强模型**且愿意在训练时一直跑它**，才走蒸馏。

**"单轮 RL"不是"多轮 RL 的简化版"，它少的是一个维度。** 原文那句"用普通奖励函数时，每个答案都是单轮、只被打一次分"，点出的正是差别所在：多轮 agent 的失败往往发生在**中间某一步**（调错工具、传错参数、读了过期状态），而单轮 RL 的分数只告诉你"最后答案对不对"。想让它学到"第 3 步搞砸了、第 4 步怎么补救"，就必须让它在环境里真的走到第 4 步。

**环境 ≠ harness。** 第 4 步的环境负责"跑工具、记录状态变化、检查最终结果"；第 5 步的 harness 是**agent 本来就有的那套控制循环**（怎么组 prompt、怎么调工具、怎么管上下文）。把训练塞进真实 harness 的意义是**训练分布 = 部署分布**，而不仅是"环境更真实"。

**"生成比训练慢"是这个领域的基本事实。** 原文在两处说了同一件事：episode 变长之后，**生成 rollout 成为训练里最慢的部分**；解法是把生成与训练放到不同 GPU 上，让训练器不至于空等，再把新权重发回 vLLM。这也是为什么第 5 步的训练器是异步的那一个。

## 九、常见问题

**Q：能不能只用 SFT？** 能，但要接受它的盲区。原文的判据很硬：模型"只看得到正确轨迹，从来没见过自己的尝试"，所以遇到自己的错误时**没学过怎么恢复**。如果你的 agent 只在高度受控、错误代价为零的场景里跑，SFT 够用；一旦有不可逆动作或长任务，缺的就是恢复能力。

**Q：有教师模型是不是就不用 RL 了？** 看你的瓶颈。蒸馏给出的是**每 token 的密集信号**，样本效率高；但学生被教师的知识上限卡住，而且 on-policy 蒸馏**每个训练步都要跑教师**。RL 把教师换成了"只检查结果的奖励"——省掉了教师，代价是信号变稀、需要更多尝试。

**Q：为什么第 4 步和第 5 步都用 `GRPOTrainer`？** 因为算法没变，变的是 rollout 从哪来：第 4 步来自环境（工具、状态、多轮），第 5 步来自**真实 harness + 远程沙箱**，并且改成异步（`AsyncGRPOTrainer`）。

**Q：什么时候必须上 OpenEnv？** 当"奖励函数 + 单轮答案"这个组合装不下你的任务时。原文的说法是：纯奖励函数下每个答案只是一轮、只被打一次分；要让模型"动作几次、看到每个动作的结果"，就需要一个保存状态、暴露工具、多轮回话的环境。

**Q：规模化那一步最先卡在哪？** 卡在吞吐。长 episode 让生成占掉大部分时间，所以先做的是"生成与训练分离"，再做"权重回传给 vLLM"。

## 十、我们的整理：这条路线怎么选、坑在哪

### 10.1 五步的"信号密度"对照

把原文散在各处的判断集中到一张表上，选型就清楚了：

| 步骤           | 每条训练样本给多少监督                         | 主要代价                          | 主要盲区                     |
| ------------ | ----------------------------------- | ----------------------------- | ------------------------ |
| SFT          | 整条轨迹（每个 token 都在监督，但只监督"正确的那种走法"）   | 便宜、稳定；需要造轨迹数据                 | **没见过自己的错误** → 不会恢复      |
| 蒸馏           | 每个 token 一个值（密集）                    | 每步都要跑教师；学生受限于教师               | 教师不知道你的 harness / 工具长什么样 |
| RL（单轮）       | 每个答案一个分（稀疏）                         | 需要大量尝试；奖励函数=规格说明              | 只看见"最终答案"，看不见中间几步        |
| RL（环境）       | 每个 episode 一个结果（更稀疏、更长）             | **rollout 成为最慢环节**；环境要维护状态与工具 | 环境不等于生产 harness          |
| harness + 异步 | 每个 episode 一个结果，但 episode 是**真实运行** | 需要沙箱、双卡分离、权重回传                | 成本最高，工程耦合最深              |

一句话读法：**越往后，信号越稀、越贵，但也越接近"它以后真正要跑的地方"。**

### 10.2 从哪一步开始

- **有强模型的轨迹数据、要的是"会按格式干活"** → 从 SFT 起。它便宜、稳定，能快速把模型拉到及格线。
- **有强教师、且你能承受每步跑教师的成本** → 上蒸馏。它的优势是密集信号，样本效率高于 RL。
- **任务是"可判分"的，但只有最终结果能判** → 上 RL（GRPO）。此时不需要教师，只需要奖励函数。
- **任务是多轮的、要调工具的、中间状态会变** → 必须上环境。纯奖励函数下"每个答案一轮"这件事本身就是瓶颈。
- **你已经有一套生产用的 harness，希望训练与部署一致** → 上异步 + harness 那一步。

### 10.3 三个最常见的坑

1. **只学正确轨迹，然后指望它自己会纠错。** 原文说得最直接：SFT 的模型"只看得到正确轨迹，从来没见过自己的尝试"，所以"当它犯错时，它没学过怎么从错误里恢复"。这与我们编译过的那篇[多轮 RL 究竟改进了什么](https://www.hubwiz.com/blog/multi-turn-rl-agents-error-recovery-budget/)正好接上——那篇的实测是：agent RL 的单步动作只有 46.8%/42.8% 的状态比基座好，但**在错误状态上是 65.7%/67.3%，从同一错误续跑的成功率 51.3% vs 38.6%**。也就是说，**RL 那一步真正买到的是"错误恢复"**；如果你跳过它，你的 agent 在真实环境里第一次跑偏就回不来了。
2. **教师不知道你的 harness。** 蒸馏的教师通常是通用大模型，它没见过你的工具接口、你的沙箱、你的报错格式。所以到了第 5 步（用自己的 harness 训练）时，前面蒸馏学到的东西可能需要重学——这也是原文把 harness 单列一步、而不是当作"工程细节"的原因。
3. **奖励函数就是规格说明。** RL 那一步里，"只要有办法检查答案就够了"——反过来说，**你写的奖励函数就是模型唯一会遵守的规格**。它会精确地优化你写下的东西，包括你没写、但打分器恰好会奖励的漏洞。

### 10.4 一个务实的顺序

如果目标是"把现有 agent 从 60 分推到 80 分"，我建议的顺序是：**先补 SFT 把格式与工具用法固化 → 直接上环境型 RL**（跳过单轮 RL 这一层，除非你的任务本来就只有一轮），**最后再上 harness 异步那步**做规模化。理由是这个顺序每一层的"可观测收益"都立即出现：SFT 修格式，环境 RL 修恢复能力，harness 异步修吞吐与一致性。而中间那层"单轮 RL"在多轮 agent 上收益有限——因为它的每个答案只有一轮，模型学不到"我上一步搞砸了该怎么办"。

## 十一、原文的资源清单（照原样列出，方便按步骤去听/去读）

| 步骤               | 直播 / 幻灯片                                                                        | 博客                                                                                                                               | 项目 / 文档                                                                                     |
| ---------------- | ------------------------------------------------------------------------------- | -------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------- |
| 0\. 开始之前         | 总览幻灯片《Train the agent, not just the model》（20 页覆盖全部步骤）                          | 《Harness, Scaffold, and the AI Agent Terms Worth Getting Right》；新手先看 LLM Course                                                  | —                                                                                           |
| 1\. SFT          | Training Agents 1: fine-tune a coding agent（附代码）                                | Training Agents: Class 1, SFT from scratch                                                                                       | 文档 SFTTrainer                                                                               |
| 2\. 蒸馏           | Training Agents 2: distillation                                                 | A brief history of distillation in AI；Distillation in 2026 (so far)                                                              | 文档 DistillationTrainer                                                                      |
| 3\. RL           | Training Agents 3: reinforcement learning                                       | How frontier models train on outcomes in 2026                                                                                    | 项目：Fine-tuning a 350M model for structured outputs in 100 GRPO steps；文档 GRPOTrainer         |
| 4\. RL 环境        | Training Agents 4: from reward functions to environments；RL for Agents Workshop | Why RL environments work now (and could not in 2016)                                                                             | 项目：Paint watercolours with code、Autonomous driving with CARLA；文档：TRL + OpenEnv、OpenEnv docs |
| 5\. harness 与规模化 | 幻灯片：Training a coding agent through a harness you did not write                 | The ultimate guide to multi-harness RL；One sandbox per rollout；Keep the Tokens Flowing: lessons from 16 open-source RL libraries | 文档：AsyncGRPOTrainer、OpenEnv harnesses                                                       |

原文还有三个"mentioned in this article"集合页（1 个模型、3 个 Space、3 个 Collection），指向课程用到的示例产物；这些在原文页面侧栏，不属于正文步骤。

## 来源

- ben burtenshaw、Sergio Paniego、merve，[A curriculum for post-training agents](https://huggingface.co/blog/huggingface/train-agents?ref=hubwiz.com)，Hugging Face 社区文章，2026-10-20
- 原文系列：Training Agents 直播（4 期 + 2 场 workshop）、Post-training Agents 播放列表；涉及 `SFTTrainer` / `DistillationTrainer` / `GRPOTrainer` / `AsyncGRPOTrainer` 与 OpenEnv
- 本文补充的对照数据来自本站编译的 [多轮强化学习赢在哪里](https://www.hubwiz.com/blog/multi-turn-rl-agents-error-recovery-budget/)（arXiv 2611.06483）

本文由汇智网编译整理，转载请注明出处。

> **这是「Agent / MCP」专题的一部分。**完整地图见：[Agent / MCP / 自动化完全指南](https://www.hubwiz.com/blog/agent-stack/)