> ## Content Index
> Fetch the complete content index at: https://www.hubwiz.com/blog/llms.txt
> Use this file to discover other available public pages before exploring further.

# 多轮强化学习赢在哪里：单步动作只有 46.8% 更好，靠出错后翻盘
- URL: https://www.hubwiz.com/blog/multi-turn-rl-agents-error-recovery-budget/
- Published: 2026-11-15T16:32:34.000Z
- Updated: 2026-11-15T16:44:17.000Z
- Description: RL 把 agent 推过了基座的 Pass@K 边界，但同一状态下的单步决策只有一半更好。真正被强化的是"出错之后"——代价是它需要更多轮次才兑现。
- Author: admin
- Tags: 多轮强化学习, Agent 训练, GRPO, 错误恢复, AI 评测

多轮 agent 强化学习（RL）在长程任务上效果很好，但**它的优势高度依赖"允许交互多少次"**。中科院自动化所、国科大与清华的作者（Kejian Zhu、Zhuoran Jin、Shangqing Tu、Tianyi Men、Yupu Hao、Jiachun Li、Kang Liu、Jun Zhao，[arXiv 2611.06483](https://arxiv.org/abs/2611.06483?ref=hubwiz.com)，2026-11-04）把评估拆成两个维度——采样宽度 K 与交互深度 T——得到一个不太舒服的结论：

- 在 Pass@K（多采样几次）上，RL 模型**稳定超过基座**，甚至推过了基座的经验能力边界；
- 把交互预算收紧，这个优势**缩小、消失，某些任务上甚至反转**；
- 同一状态、同一历史下，RL 模型的**单步动作只有 46.8%（DeepCoder-MT）/ 42.8%（FrozenLake）比基座更好**，平均质量还略低；
- 但在**错误状态**上翻转：65.7% / 67.3% 的动作更好，从同一错误状态续跑的成功率是 **51.3% vs 38.6%**、**38.5% vs 22.9%**。

一句话：**它没让 agent 每一步都变聪明，它让 agent 更会从错误里爬出来——而这个过程需要轮次。**

## 一、原文摘要

多轮 agent RL 在长程任务上表现优异，但性能增益对交互约束高度敏感。作者用 Pass@(K,T) 在采样宽度 K 与交互深度 T 两个维度上评估，发现**轨迹级的 RL 优势依赖足够的轮次预算，预算收紧时显著衰减**。此外，agent RL **并不均匀地提升单步决策质量**，它的强项集中在**错误恢复**与**长程韧性**上。为缓解这种"预算依赖"带来的部署风险，作者初步讨论过程监督信号的收益与局限，并提出 **BudgetMix RL**——训练时把交互预算也当作一个变量。实验显示 BudgetMix 在多种执行设置下都更稳。

## 二、问题：我们一直用"任务完成没完成"给 agent RL 打分

现有工作主要在轨迹层面评估 agent：在给定预算内任务有没有完成。单轮 RL 的早期研究用 Pass@K 探能力边界，办法是多采样几条独立解——它抓的是测试时扩展的一个维度：**采样宽度**。

但交互式 agent 还有另一个正交维度：**每条轨迹允许交互多少次**（交互深度）。作者的做法是先上 Pass@K，再上 Pass@T，最后把两者合成 Pass@(K,T)。

## 三、方法

### 3.1 交互的形式化

任务 x 采样自数据集 D。第 t 步给定交互历史 h\_t = (x, o₁, a₁, …, o\_{t−1}, a\_{t−1}, o\_t)，agent 从 π(·|h\_t) 采动作 a\_t，环境返回观测 o\_{t+1} \~ P(·|h\_t, a\_t)。动作可以是工具调用、终端操作或执行代码。在至多 T 轮的预算下，一条轨迹是 τ\_{≤T} = (x, o₁, a₁, …, o\_T, a\_T)，由终端验证器给奖励 R(τ\_{≤T})。这个框架同时容纳纯结果型 RL（GRPO）与过程级信用分配方法（GiGPO）。

### 3.2 Pass@(K,T)：把两个维度同时写进指标

对策略 π 与任务 x：

**Pass@(K,T) = Pr\[ 在 K 条独立采样 τ⁽¹⁾…τ⁽ᴷ⁾ 中，至少一条满足 R(τ⁽ⁱ⁾\_{≤T}) = 1 \]**

固定采样预算为常数 C、只扫 T，就得到 **Pass@T = Pass@(C,T)**，用来单独隔离深度这一轴。

实验用 GRPO 作主算法，四个交互式基准：**DeepCoder-MT**（多轮代码：每轮可提交候选程序、看单元测试反馈、下一轮改）、**BFCL**（工具调用）、**InterCode-SQL**（交互式 SQL）、**FrozenLake**（具身规划的网格世界）。基座模型 Qwen3-4B 与 Qwen3-8B。

## 四、发现一：采样宽度上，RL 推过了基座的能力边界

![图 1a：概念图——左边是同一棵动作树在基座策略与 RL 策略下的展开（节点为动作与概率、颜色为正确/错误状态、绿色为 RL 增强的动作），T=2 是紧预算、T=3 是宽预算；右下角一行字是全文的引子：紧预算 0.56 < 宽预算 0.74/0.84](https://www.hubwiz.com/blog/content/images/2026/11/mt-rl-fig1a.jpg)

随采样条数 k 增大，RL 模型**始终**高于基座（四个基准、两个模型规模都是）。这说明多轮 RL 能把轨迹级成功率推到基座的经验能力边界之外——**这一点和单轮任务上的观察相反**：单轮 RLVR 的 Pass@K 分析通常认为，RL 只是在给基座已经能采到的解重新加权。

![图 2：Pass@K 随采样条数变化（GRPO，4 个基准 × 2 个模型规模）——红线是 RL、黑线是基座，阴影区是两者之差](https://www.hubwiz.com/blog/content/images/2026/11/mt-rl-fig2.jpg)

> **要点 3.1（原文）**：与单轮 RL 不同，多轮 agent RL 能把轨迹级表现推过基座的 Pass@K 经验能力边界。

![图 1b：右侧面板——成功率随交互预算（占 T_max 的百分比）变化：紧预算区"RL 优势缩小"，宽预算区"RL 优势显现"，BudgetMix 曲线再往上 +5.2 点](https://www.hubwiz.com/blog/content/images/2026/11/mt-rl-fig1b.jpg)

## 五、发现二：预算一紧，优势就没了

![图 3：固定采样 k=8 时的 Pass@T——横轴是允许的最大交互轮数，四个基准都呈现"预算越大，RL 相对基座越强"](https://www.hubwiz.com/blog/content/images/2026/11/mt-rl-fig3.jpg)

作者固定 k=8、扫最大交互轮数 T，出现一个清晰的模式：**RL 的优势依赖足够大的交互预算**。T 越大，RL 相对基座的领先越明显；T 小时领先缩小，某些任务上甚至反转。

为了排除"预算太小导致任务在结构上不可解"这个平凡解释，他们算了每个任务在每个预算下的**结构上界**：FrozenLake 用最短路径定上界，BFCL 用官方标注的正确工具调用轨迹估上界，DeepCoder 与 InterCode-SQL 因为每轮就是一次完整代码提交、原则上单轮可解，上界恒为 100%。结论是：**在小 T 时，即使上界之下还留着大量空间，RL 也没表现出对基座的清晰优势。** 所以不是"任务做不了"，是"RL 的优势需要轮次才兑现"。

作者的猜想是：agent RL 主要强化**长程能力**，这种能力的收益要在预算充足时才显现；预算一紧，收益消失——这说明它的增益**并不来自"每一步都更好"**。

> **要点 3.2（原文）**：多轮 RL 的收益依赖足够的交互预算，紧预算下会衰减甚至反转。

## 六、发现三：单步动作质量并没有系统性变好

那么，回到最自然的问题：多轮 RL 到底有没有提升每一步的动作质量？

做法是**在同一状态下比两个策略**：对每个状态 s，分别从基座策略与 RL 策略各采 G=16 个动作，取质量分的平均，降低采样方差。

严格评估单步质量在 agent 场景里很难，因为可靠的过程奖励本身不好拿。所以只挑两个**单步质量可算**的任务：

- **FrozenLake**：用有限期动态规划（折扣 0.95）算出每个动作在"剩余预算内最优续跑"下的精确 Q\*；
- **DeepCoder-MT**：每一步的代码可以用单元测试通过率打分。

为了把"动作质量"与"状态分布偏差"分开，他们从基座和 RL 的轨迹里**等量采样中间状态**建状态池。

![图 4：匹配状态上的单步动作质量——每个点是一个匹配状态，横轴基座、纵轴 RL；对角线之下是基座更好（青色），之上是 RL 更好（红色）。分布并不偏向 RL，甚至略偏基座](https://www.hubwiz.com/blog/content/images/2026/11/mt-rl-fig4.jpg)

结果：**RL 只在 46.8%（DeepCoder-MT）与 42.8%（FrozenLake）的匹配状态上给出更好的单步决策**，平均质量不比基座好，甚至略低。也就是说，多轮 agent RL **不能稳定提升单步动作，偶尔还会让它变差**。

## 七、但它在"出错之后"明显更强

既然单步不占优，轨迹级收益从哪来？作者把注意力放到**紧接错误之后的状态**上：在真实 agent 里，错误一旦发生，恢复能力才是关键。

构造方法是往**前一步注入一个错误动作**，得到错误状态池。这次分布明显翻到对角线上方：**RL 选中更优动作的比例是 65.7%（FrozenLake）与 67.3%（DeepCoder-MT）**。再从**完全相同的错误状态**续跑，RL 的终端成功率是 **FrozenLake 51.3% vs 基座 38.6%**、**DeepCoder-MT 38.5% vs 22.9%**。

![图 5：错误状态上的单步动作质量——每个点是一个错误状态，绝大多数落在对角线上方（RL 更好）](https://www.hubwiz.com/blog/content/images/2026/11/mt-rl-fig5.jpg)

附录里还有一个更贴近工具的案例（BFCL）：收集含工具调用错误的轨迹前缀 **191 条**（RL rollout 91 条、基座 100 条），让两个模型各在同一前缀上走一步。**RL 的纠错率 41.4%，基座 27.2%**；原文给了一个例子：RL 模型删掉不支持的参数，而不是把同一个错误再犯一遍。

## 八、优势出现在轨迹的后半段

![图 6：动作质量随归一化轨迹深度 d_t = t/T_max 的变化——执行早期 RL 几乎没有优势甚至更差，随交互推进差距收窄并反转（阴影为 95% 置信区间）](https://www.hubwiz.com/blog/content/images/2026/11/mt-rl-fig6.jpg)

把中间状态按轮次分箱、定义归一化深度 d\_t = t/T\_max 后可以看到：**RL 在轨迹早期没有优势，甚至不如基座**；随着交互推进，差距逐渐缩小并反转。也就是说，RL 的逐步优势不是均匀分布在一条轨迹上，而是**在后段、长程交互里才显现**。

三条合起来解释了为什么它需要更多轮次：**它买到的是"出错之后还有救"，而"有救"这件事只有多走几步才看得出来。**

## 九、机制：单步"局部合理"，整条轨迹"整体更像"

![图 7：似然分析——左轴是动作在基座策略下的 NLL（箱线图，蓝=基座动作、粉=RL 动作），右轴是累计对数似然比 LLR 随交互进度的变化](https://www.hubwiz.com/blog/content/images/2026/11/mt-rl-fig7.jpg)

作者用似然把两件事分开算：

- **单步有多"异常"**：保持历史固定，用基座策略算 RL 动作的负对数似然 NLL。在 Terminal-Bench 上，RL 动作的 NLL 均值 **12.20**，基座自己的动作是 **10.25**——两组分布大幅重叠。含义是：**RL 的单个动作并没有跑到基座策略的支撑集之外**，这局部解释了 §6 的现象。
- **整条轨迹有多"像 RL"**：累计对数似然比 LLR\_{1:t} = Σ\[log π\_RL(r\_i|h\_i) − log π\_B(r\_i|h\_i)\]，r\_i 是一轮里完整的模型响应（含推理与动作 token）。成功的 RL 轨迹，累计 LLR 随进度上升，到约 **228**；成功的基座轨迹只有约 **26**。

也就是说：**每一步的条件概率都不离谱，但一整条长轨迹的联合概率可以差到"基座几乎采不出来"。** 这提供了 §4 的一种解释——多轮 RL 让轨迹级成功率超过基座的 Pass@K 边界，靠的不是每一步更强，而是**把"局部都合理"的动作可靠地串成一条长轨迹**。

这个结论在 BFCL 上复现，并且做了长度控制：把基座与 RL 轨迹按任务配对、要求被计分的输出 token 数相差不超过较长序列的 10%，得到 Terminal 上 89 个任务的 193 对、BFCL 上 146 个任务的 283 对；累计 LLR（不做长度归一）的差在 Terminal 上是 **185.9 nats**、BFCL 上是 **805.8 nats**，两个 95% 置信区间都在 0 以上。

## 十、训练动力学：轨迹奖励一路涨，单步奖励往下走

![图 8：DeepCoder-MT 上的训练动力学——红/蓝是标准全预算 RL 的轨迹奖励 R_multi 与单步奖励 R_single；黄/灰是 BudgetMix 的两条曲线](https://www.hubwiz.com/blog/content/images/2026/11/mt-rl-fig8.jpg)

标准 agent RL 只用轨迹奖励 R\_multi 优化和验证。对单步质量可测的任务，作者额外跟踪一个**只用于验证**的单步奖励 R\_single。结果：**R\_multi 持续上升，R\_single 不升反降**——在 DeepCoder-MT 上，R\_multi 涨了 **0.331**，R\_single 掉了 **0.097**。FrozenLake 上同样：轨迹奖励上升，单步质量趋于下降。

所以终点的现象不是偶然："**轨迹级收益可以与单步动作质量下滑同时发生**"，而且这个分化是训练过程中逐步形成的。

## 十一、缓解办法一：高质量过程信号只能解决一部分

![图 9：过程监督信号对 Pass@T 的影响——左：FrozenLake（有 oracle Q 值），右：BFCL（没有精确的单步 oracle）](https://www.hubwiz.com/blog/content/images/2026/11/mt-rl-fig9.jpg)

最自然的想法是引入更细粒度的信号：过程奖励，或更好的信用分配。作者试了几种：

- **FrozenLake（有精确过程信号）**：oracle Q 值过程奖励与 GiGPO 都能在不同预算下稳住性能，**紧预算下尤其明显**——准确的进程监督确实能缓解"预算依赖"。
- **BFCL（没有精确 oracle）**：这就是瓶颈。**GiGPO、PPO 这类稠密信号方法在受限预算下没有带来提升，和 GRPO 差不多**。他们还试了用 **GPT-5.6-Sol 当过程奖励裁判**，结论是即便很强的裁判模型，也无法在所有任务上稳定给出高质量的过程监督，在 BFCL 这种更真实的环境里尤其不行。

> 换句话说：**能拿到精确过程信号的地方，这个病能治；而真实 agent 任务里，你通常拿不到。**

## 十二、缓解办法二：BudgetMix——把"预算"变成训练维度

更简单的路子是 **BudgetMix RL**：奖励机制不变，只把**交互预算在训练轨迹之间随机化**。它可以直接套在现有算法上（GRPO、PPO、GiGPO）。

标准做法是在固定的 T\_max 下采样轨迹、优化结果或单步奖励；但这个目标**不区分"用了几轮才做完"**——只要在预算内完成就行。BudgetMix 只改一处：对任务 x 及其满额预算 T\_max(x)，构造 10% 间隔的候选预算，**每个任务组内均匀采一个**：

**T(x) \~ Uniform( Unique({ ⌈(k/10)·T\_max(x)⌉ : k = 1…10 }) )**

训练时把"总预算"和"剩余预算"写进 prompt（原文给了完整的系统提示模板：环境、最大轮数、已完成轮数、剩余轮数、任务指令、动作格式），**超预算未完成给 0 奖励**；奖励设计与传统 RL 一致。

核心想法是：**预算改变了"同样奖励在什么条件下能拿到"**。紧预算限制重试机会，对早期决策要求更高；宽预算保留长程执行的空间。

**结果**（Pass@8，按 T\_max 的 25%/50%/75%/100% 评估）：

- 紧预算（25%、50%、75%）下，BudgetMix 在四个任务上**全面超过基座与标准全预算 RL**，相对全预算 RL 的平均增益分别是 **+7.5、+5.3、+4.0** 个百分点；
- 满预算（100%）下与全预算 RL **打平**——低预算上的提升没有牺牲长程能力；
- 训练动力学上（图 8 的黄/灰曲线），R\_multi 稳步上升，而 **R\_single 保持稳定或略升**；单步质量的直接评估也显示 BudgetMix 让局部决策质量稳定提升（附录 E.1），而标准 GRPO 会掉。

原文表 1 是 Pass@8 的完整矩阵（4 任务 × 4 预算 × 3 算法 × 2 模型）。下面只摘 **25% 与 100% 两列**，因为反转就发生在左端：

**Qwen3-4B**（25% / 100% 的 T\_max）

| 任务            | 基座          | GRPO 全预算    | GRPO + BudgetMix | GiGPO 全预算   | GiGPO + BudgetMix | PPO 全预算     | PPO + BudgetMix |
| ------------- | ----------- | ----------- | ---------------- | ----------- | ----------------- | ----------- | --------------- |
| FrozenLake    | 30.3 / 61.6 | 28.7 / 72.4 | **37.6 / 73.5**  | 38.4 / 76.5 | **46.3 / 78.5**   | 38.5 / 80.0 | **45.5 / 80.3** |
| DeepCoder-MT  | 34.0 / 48.3 | 29.2 / 59.0 | **38.1 / 61.2**  | 28.8 / 58.8 | **36.5 / 59.5**   | 29.5 / 55.0 | **36.4 / 56.9** |
| BFCL-v3       | 3.0 / 26.4  | 2.5 / 30.2  | **8.5 / 30.8**   | 3.4 / 31.3  | **8.5 / 33.0**    | 4.2 / 33.4  | **10.2 / 34.5** |
| InterCode-SQL | 23.1 / 33.5 | 23.1 / 46.0 | **28.9 / 47.5**  | 23.4 / 45.0 | 27.9 / 44.8       | 22.4 / 41.0 | **27.0 / 42.7** |

**Qwen3-8B**（25% / 100%）

| 任务            | 基座          | GRPO 全预算    | GRPO + BudgetMix | GiGPO 全预算   | GiGPO + BudgetMix | PPO 全预算     | PPO + BudgetMix |
| ------------- | ----------- | ----------- | ---------------- | ----------- | ----------------- | ----------- | --------------- |
| FrozenLake    | 34.0 / 58.5 | 31.9 / 78.0 | **40.8 / 79.6**  | 34.6 / 71.5 | **40.9 / 72.3**   | 40.4 / 85.0 | **47.1 / 86.7** |
| DeepCoder-MT  | 42.8 / 56.8 | 31.5 / 66.5 | **45.5 / 66.8**  | 28.7 / 58.7 | **44.9 / 60.7**   | 34.5 / 64.8 | **44.0 / 65.9** |
| BFCL-v3       | 4.8 / 37.8  | 3.8 / 45.0  | **10.5 / 47.2**  | 5.6 / 43.5  | **10.8 / 43.2**   | 7.0 / 48.0  | **12.2 / 50.5** |
| InterCode-SQL | 29.8 / 40.8 | 27.0 / 49.4 | **33.1 / 50.4**  | 22.8 / 45.6 | **32.6 / 47.7**   | 26.5 / 45.0 | **32.1 / 46.6** |

看两处就够：**左端（25%）一列里，标准全预算 RL 常常还不如基座**——Qwen3-8B 的 DeepCoder-MT 是 31.5 对基座的 42.8，Qwen3-4B 的 FrozenLake 是 28.7 对 30.3；而 BudgetMix 把同一格拉回到 45.5 与 37.6。右端（100%）BudgetMix 与全预算 RL 基本持平，个别格子还更高（8B 的 FrozenLake 79.6 vs 78.0、BFCL 47.2 vs 45.0）。

## 十三、相关工作与结论

**多轮 agent RL** 这条线，近几年从单轮 outcome-based RL 扩到交互任务（轨迹奖励），再往信用分配走：GiGPO 用"状态分组优势"，SPA-RL 做逐步奖励分解，ARPO 用熵引导探索做优势归因；也有工作显式建模中间决策质量。但评估**仍以轨迹级成功为主**，所以本文要越过"任务完成没完成"去看增益来源与限制。

**理解 RL 后训练** 这条线：单轮的 Pass@K 分析认为 RLVR 主要在给基座已能采到的解重新加权；后续有工作报告长训后边界扩大，也有工作把增益归因于技能重组或放大基座潜在行为。这些都指向同一件事：**终点的成功会掩盖增益的来源**。最相关的前置工作是引入 Pass@(K,T) 刻画多轮能力边界、并显示 agent RL 能越过基座边界的 Zhai 等（2026）；本文在此基础上加了**预算依赖、单步质量与机制**三层分析。

**结论**：多轮 agent RL 能扩展基座的经验能力，但**这个优势在交互预算收紧时会衰减甚至反转**；增益主要来自**长程执行与错误恢复**，不是"每一步都更好"。由于这会影响真实部署的可靠性，作者进一步讨论了缓解策略及其局限，并主张：**agent 系统的评估不应只看最终任务成功，还要看它在不同执行约束下的稳健性，以及单个决策的可靠性。**

## 十四、我们的整理：怎么用这份结论

**第一，"成功率提升"不是一个可以放进采购文档的指标。** 这篇论文最可直接搬走的东西是那个二维评估：**Pass@(K,T)**。它把"多试几次"和"多走几步"分开，暴露出一类此前被平均掉的风险——如果你的线上 agent 有严格轮次上限、或者单步动作不可逆（改数据库、发钱、下 PLC 指令），那么"离线评测 78.7%"这个数并不承诺你能拿到它。**先量一遍自己的 agent 在 25%/50%/75% 预算下的曲线**：如果曲线在紧预算处塌下去，说明你的 agent 也是"靠轮次换分数"的那一类。

**第二，把"错误恢复"当成一个可测的独立能力。** 论文的方法很便宜：往轨迹里注入一个错误动作，再从同一错误状态续跑，比续跑成功率。他们把这件事做成了三组数字（错误态动作质量 65.7%/67.3%、续跑 51.3% vs 38.6%、工具调用纠错率 41.4% vs 27.2%）。这比"任务成功率"更接近真实运维场景——真实世界里错误是常态，而 agent 的价值多半体现在"错了之后还能不能回来"。

**第三，"单步更好"和"长轨迹更稳"是两件事，训练目标要分开。** 机制分析（NLL 相当但轨迹 LLR 差一个数量级）说明：单步动作可以在基座支撑集内，而整条轨迹的联合概率极低——RL 学到的其实是"把局部合理的动作串起来"。凡是只优化轨迹奖励的训练，都在奖励"串得成"，不奖励"这一步本身好不好"；于是出现轨迹奖励涨、单步奖励跌的分化。**BudgetMix 的价值不是那个随机预算本身，而是它把"预算"从评估维度搬进了训练维度**，让模型在紧预算下也必须做对早期决策——这是靠改奖励函数很难达到的效果。

**第四，和我们的后训练路线图对读。** 这篇是"为什么 RL 那一层值得做、以及它的账怎么算"；Hugging Face 那份 [Agent 后训练五步](https://www.hubwiz.com/blog/agent-post-training-curriculum-five-steps/) 是"每一层用什么信号、用什么训练器"。两篇放在一起，刚好能回答一个很实际的问题：**如果你的评测显示 agent 出错后不会恢复，那说明它缺的不是更多 SFT 数据，而是"见过自己的错误"——那是环境与 RL 那一层的活。**

## 来源

- Kejian Zhu、Zhuoran Jin、Shangqing Tu、Tianyi Men、Yupu Hao、Jiachun Li、Kang Liu、Jun Zhao，[What Does Multi-Turn Reinforcement Learning Really Improve in LLM Agents?](https://arxiv.org/abs/2611.06483?ref=hubwiz.com)，arXiv:2611.06483，2026-11-04；项目页 https://rethinking-agentic-rl.github.io/
- 图 1–9 取自论文原图（PDF 转图后压到 800px 宽；图 1 为便于阅读切成左右两块）；表 1 数据摘自论文正文与附录
- 训练实现基于 VeRL，算法为 GRPO / GiGPO / PPO，基座 Qwen3-4B 与 Qwen3-8B

本文由汇智网编译整理，转载请注明出处。

> **这是「Agent / MCP」专题的一部分。**完整地图见：[Agent / MCP / 自动化完全指南](https://www.hubwiz.com/blog/agent-stack/)