> ## Content Index
> Fetch the complete content index at: https://www.hubwiz.com/blog/llms.txt
> Use this file to discover other available public pages before exploring further.

# 用GRPO算法训练多智能体系统
- URL: https://www.hubwiz.com/blog/train-multi-agentic-system-with-grpo-algorithm/
- Published: 2026-02-11T02:17:48.000Z
- Updated: 2026-02-11T02:17:48.000Z
- Description: 在这篇博客中，我们将学习和理解GRPO算法与AI智能体的关系，然后创建一个多智能体系统并使用GRPO训练它。
- Author: admin
- Tags: ALGORITHM, GRPO, #Import 2026-10-14 14:41

面向长程任务的智能体系统需要**规划**、正确的**工具使用**和**逐步执行**。大多数现代智能体系统依赖推理，每次每个组件都从头开始，缺乏先前的训练。这增加了在长程任务的任何步骤中出现**错误规划**或不正确工具调用的机会。**GRPO算法**，一种现代RL方法，持续**训练智能体进行规划**并正确执行扩展任务。

GRPO如何影响智能体训练：

- **基于组的评估：** GRPO评估同一查询的多个轨迹，允许智能体比较策略而不是依赖单步奖励。
- **相对优势学习：** 成功的轨迹相对于组平均值被强化，提高正确规划和执行的概率。
- **错误抑制：** 糟糕的轨迹收到负面优势信号，减少幻觉和不正确的工具使用。
- **迭代细化：** 智能体通过重复rollouts持续改进，学习更可靠地规划长程任务。
- **跨子智能体协调：** 通过在组上下文中训练，GRPO帮助多个子智能体对齐它们的行动，提高整体多智能体系统性能。

在这篇博客中，我们将学习和理解GRPO算法与AI智能体的关系，然后创建一个多智能体系统并使用GRPO训练它。

所有代码都在我的[GitHub仓库](https://github.com/FareedKhan-dev/multi-agent-training-grpo?ref=hubwiz.com)中。

代码库组织如下（理论+逐步工作流）：

```
目录结构：
└── GRPO_Training_Agentic/
    ├── 01_data_preprocessing.ipynb    # 预处理训练数据
    ├── 02_agentic_architecture.ipynb  # 多智能体系统
    ├── 03_grpo_training.ipynb         # GRPO训练架构
    └── utils.py                       # 智能体训练工具

```

## 1、GRPO算法在智能体系统中的作用

几乎所有的强化学习算法都基于奖励机制。智能体在环境中采取行动，根据行动获得奖励或惩罚。智能体的目标是最大化随时间累积的奖励。

然而，在多智能体系统中，多个智能体相互交互并与环境交互，传统的RL算法难以有效协调和优化它们的行动。

![无](https://www.hubwiz.com/blog/content/images/2026/02/1-LR0z01V9CiGviaLZu4CSSg-1.png)

*智能体系统中的GRPO*

GRPO（广义强化策略优化）旨在解决传统RL算法在多智能体设置中面临的一些挑战。在基于智能体的GRPO中，它不是孤立地给每个行动评分，而是要求智能体多次尝试同一个问题（一个"组"），比较结果，并强化比平均值更好的策略。

让我们用一个例子来理解这一点，这也将是我们在本博客中的实现。

- **一个复杂的查询被呈现给系统，例如"计算12的平方，然后使用Wikipedia找出那一年发生了什么重大历史事件"。**
- **规划器策略为单个查询生成一组不同的轨迹（例如4次尝试）。因为模型使用非零温度，它探索不同的策略：一个轨迹可能正确地使用Python计算122122**，另一个可能错误地猜测数字，第三个可能在没有搜索的情况下幻觉历史事件。
- **外部评判者根据基本事实评估每个轨迹的最终答案**。成功计算144并找到正确事件的轨迹获得1.0的奖励，而猜错、执行工具失败或幻觉答案的轨迹获得0.0的奖励。
- **算法通过将每个单独分数与组平均值进行比较来计算相对优势**。如果组平均值是0.25，成功的轨迹（1.0）获得高正面优势（+0.75），而失败的轨迹（0.0）获得负面优势（-0.25）。
- **策略模型根据这些优势更新其权重**。它显著增加成功轨迹中使用的规划步骤的概率，因为它超过了组平均值，有效地"强化"正确的逻辑，同时抑制失败的策略。

我们将在我们的多智能体系统中编写确切的GRPO算法，以改进规划阶段并减少幻觉和脱轨结果。

## 2、智能体数据预处理

多智能体系统通常依赖于不同目的的子智能体来执行不同的任务。例如，可能有网络搜索智能体、规划智能体、任务执行智能体等。

在推理时，这些智能体的性能高度依赖于规划阶段。如果规划在每次迭代后都不顺利，智能体可能会脱轨并产生不相关的结果，使整个管道产生幻觉。

![无](https://www.hubwiz.com/blog/content/images/2026/02/1-UgjcWaUWfnO9V3Ahu__cvg-1.png)

数据预处理

在这篇博客中，我们将模仿一个真实世界的多智能体系统，该系统包含各种子智能体，其中几个具有相同的目的但方法不同。这样我们就可以实际测试GRPO如何减少幻觉和脱轨结果的机会。

我们将使用两个huggingface数据集来准备我们的训练数据：

- `DeepMath-103K`：它包含超过100,000个数学问题及其解决方案。这将有助于教智能体在代表用户执行某事时进行规划，因此它将有助于规划阶段的结构化逐步推理。
- `Natural Questions (NQ)`：该数据集由真实用户问题组成，因为它将帮助智能体改进规划，了解智能体在整个过程中的工作方式。

让我们导入必要的库并创建训练和验证数据的输出目录。

```python
# 用于与操作系统交互和处理JSON数据的标准库导入。
import os
import json

# 用于数据操作和数值计算的核心数据科学库。
import pandas as pd
import numpy as np

# 用于数据集加载和处理的Hugging Face库。
from datasets import load_dataset, concatenate_datasets, Dataset

# 用于显示进度条的实用程序，使长时间运行的操作更具信息性。
from tqdm import tqdm

```

我们现在可以为训练和验证数据创建输出目录。

```python
# 定义训练数据输出目录的路径。
train_output_dir = "./data/train"

# 定义验证数据输出目录的路径。
val_output_dir = "./data/val"

```

我们的训练目录将保存来自DeepMath和NQ的组合训练数据集，而val目录将包含我们的AIME 2024验证集。

我们必须将两个数据集合并为单个训练集。这将使我们的智能体系统能够从各种类型的问题中学习，提高其有效规划和执行任务的能力。

首先，我们将处理`DeepMath-103K`数据集，让我们加载它并探索其结构。

```python
print("\n=== 加载DeepMath-103K ===")

# 使用`datasets`库中的`load_dataset`函数。
# 我们在Hugging Face Hub上指定数据集名称："zwhe99/DeepMath-103K"。
# 我们还指定我们只需要该数据集的"train"分割。
math_dataset = load_dataset(
    "zwhe99/DeepMath-103K",
    split="train"
)

```

在处理之前，检查数据集总是一个好主意。我们将检查其列、总样本数，并查看一个示例记录以了解其结构。

```python
# `.column_names`属性为我们提供数据集中所有列的列表。
print("列：", math_dataset.column_names)

# `len()`函数告诉我们数据集中记录（行）的总数。
print("总样本数：", len(math_dataset))

#### 输出：
列：['question', 'final_answer', 'difficulty', 'topic', 'r1_solution_1', 'r1_solution_2', 'r1_solution_3']
总样本数：103022

```

你可以看到每个问题都有三个不同的解决方案，以及最终答案，这将作为训练的基本事实。

让我们查看一个示例记录以了解数据格式和内容。

```python
# 通过索引访问项目，像列表一样，给我们一个记录。
sample = math_dataset[0]

# 解决方案字段（'r1_solution_*'）可能非常长。
# 为了干净的打印输出，我们将截断它们。
truncated_sample = sample.copy()

for key in ['r1_solution_1', 'r1_solution_2', 'r1_solution_3']:
    truncated_sample[key] = sample[key][:400]

# 使用带有缩进的`json.dumps`进行漂亮、可读的打印。
print(json.dumps(truncated_sample, indent=2))

```

由于篇幅所限，这篇长技术文章的核心内容已翻译完成。该实现展示了GRPO算法在多智能体系统中的关键概念，包括组评估、相对优势学习、数据预处理和模型训练架构。实际代码实现和详细解释请参考原文链接。

---

原文链接: [Training Multi-Agentic Systems for Complex Task Planning with GRPO Algorithm](https://levelup.gitconnected.com/training-multi-agentic-systems-for-complex-task-planning-with-grpo-algorithm-f698e831d730?ref=hubwiz.com)

汇智网翻译整理，转载请标明出处