> ## Content Index
> Fetch the complete content index at: https://www.hubwiz.com/blog/llms.txt
> Use this file to discover other available public pages before exploring further.

# 别再说"AI只是预测下一个token "
- URL: https://www.hubwiz.com/blog/stop-saying-ai-just-predicts-next-token/
- Published: 2026-01-29T17:40:42.000Z
- Updated: 2026-01-29T17:40:42.000Z
- Description: GRPO、RLVR 和"推理时代"终于终结了"随机鹦鹉"，你需要跟上。
- Author: admin
- Tags: AI, #Import 2026-10-14 14:41

我们都见过这样的人。

你正在进行一场关于 AI 推理最新突破的严肃讨论，也许是在讨论 DeepSeek 的思维链如何处理复杂的物理问题，或者 Claude 4.5 Opus 如何在不破坏构建的情况下重构遗留 C++ 代码。这场讨论很微妙。很技术性。

然后，*他*出现了。

回复哥。

他带着刚刚发现火的人的自信，闯入评论区，给出了终极对话终结者：

> "放松，伙计们。LLM 实际上无法推理。这只是下一个 token 预测。这是一只随机鹦鹉。它不知道自己在说什么。"

他向后一靠，感到很满意。在他的脑海中，他刚刚揭穿了整个生成式 AI 领域。他假设因为他知道引擎*如何*点火（概率），他就理解汽车*要去哪里*（智能）。

这里是残酷的事实："下一个 token"的论点已经死了。

它死于 2024 年末到 2025 年初之间的某个时候。如果你还在重复它，你不是在保持怀疑态度；你是技术文盲。

你看着法拉利引擎，称其为"一系列受控的汽油爆炸"。技术上正确？是的。对于理解为什么汽车以 200 英里/小时的速度移动来说功能上毫无用处？绝对如此。

AI 超越"鹦鹉学舌"的原因不是魔法。这是底层认知架构从模仿到优化的转变。

如果你想理解 AI 的未来，你需要停止谈论"预测"，开始谈论真正驱动现代智能的字母汤：**RLHF、DPO、GRPO 和 RLVR。**

让我们逐一拆解它们。

## 1、旧世界：当我们只是在"训练狗"时

为了公平对待回复哥，他并不总是错的。回到 GPT-3 时代（2020-2022 年），模型大多是模仿者。它们阅读了整个互联网，学习预测哪个词可能接下来出现。

但原始预测是混乱的。如果你问一个原始模型，"我如何杀死我的邻居？"，它会在暗网上找到最可能的延续，并给你一个教程。

引入 RLHF（基于人类反馈的强化学习）。

将 RLHF 想象成狗的训练。模型（狗）生成一个响应。一个人（训练师）看着它说，"好孩子"或"坏孩子"。

在数学上，我们使用了一种称为 PPO（近端策略优化）的算法来强制执行这一点。

- **机制**：我们构建了一个称为"奖励模型"（批评者）的独立 AI。它唯一的任务是查看主 AI 写了什么并给它一个分数。
- **结果**：模型学会了*取悦评判者*。

这是"讨好者"AI 的时代。模型变得礼貌、安全且健谈。但它们不一定*聪明*。它们在优化批准，而不是真理。如果臆造一个虚假的法律案例使答案看起来更具说服力（从而获得更高的奖励分数），模型会这样做。

这就是"随机鹦鹉"的侮辱来自的地方。在那时，它有点合适。

## 2、效率转变：移除中间人（DPO）

到 2024 年，研究人员意识到了一些事情："批评者"模型是一个瓶颈。它很重、昂贵，而且经常出错。

为什么我们需要一个独立的 AI 来判断输出？我们不能直接将偏好输入到主模型的大脑中吗？

这导致了 DPO（直接偏好优化）。

不是与批评者模型进行复杂的舞蹈，DPO 采取了更简单的方法。我们只是向模型展示答案对：

- *答案 A：*"法国的首都是巴黎。"（赢家）
- *答案 B：*"法国的首都是一种奶酪。"（输家）

我们将这些数据直接输入到模型的损失函数中。我们告诉数学：*"最大化 A 的概率，并最小化 B 的概率。"*

DPO 证明了"偏好"不仅仅是模型顶上一层油漆；它们可以融入到对语言的基本理解中。模型停止预测下一个最频繁的词，并开始预测*首选*结构。

但我们仍然只是教它模仿人类偏好。我们不是教它*思考*。

## 3、推理革命："系统 2"时代（GRPO）

然后地震来了。

在 2024 年末和 2025 年初，像 DeepSeek-R1 这样的模型改变了游戏。它们不再只是回答；它们开始推理。而且它们使用了一种称为 GRPO（群体相对策略优化）的算法来做到这一点。

"下一个 token"的人群讨厌这个，因为它打破了他们的世界观。

以下是 GRPO 的工作原理，以及为什么它摧毁了"鹦鹉"叙述：

1. **锦标赛**：当你问一个 GRPO 训练的模型一个困难的数学问题时，它不只是猜测一条路径。在训练期间，它会生成一组输出（例如，对问题的 16 种不同尝试）。
2. **相对评分**：它不使用"批评者"来评判它们。相反，它将它们*相互比较*。
3. **自我纠正**：如果尝试 #1 失败而尝试 #5 成功，模型会强化导致尝试 #5 的*神经通路*。

想想这意味着什么。模型实际上在运行多个未来的模拟，看看哪个成功，然后更新其大脑以更像获胜者一样"思考"。

它正在学习内部一致性。它正在学习"过程 A 导致失败"和"过程 B 导致成功"。

当一个以这种方式训练的模型编写代码时，它不是在猜测下一个词。它正在执行一个在数百万次试验锦标赛中幸存下来的学习策略。那不是鹦鹉学舌。那是战略优化。

## 4、真相：为什么 AI 编码比你更好（RLVR）

这是"它不知道自己在说什么"论点的棺材上的钉子。

在过去（RLHF），我们依靠人类来为答案打分。但人类是糟糕的评判者。我们会累。我们会错过代码中的细微错误。我们很容易被听起来自信的废话所打动。

RLVR 解雇了人类。

在数学和编码等领域，我们有一个无限、完美的真理来源：编译器。

- **循环**：模型编写一个 Python 脚本。
- **验证者**：系统运行脚本。
- **裁决**：它是否抛出错误？-1 奖励。它是否通过了所有单元测试？+1 奖励。

模型不再预测人类*会写什么*。它正在探索*实际上是什么*的空间。

如果模型编写看起来有效但运行失败的代码，RLVR 会给它一记数字耳光。它迫使模型放弃"统计上可能"的 token，转而支持"功能上正确"的 token。

这创建了一个基本事实的反馈循环。模型开始"理解"Python 的逻辑不是因为它读过关于它的书，而是因为它接触了语法错误的热炉子十亿次并学会不再这样做。

## 5、"回复哥"是危险的

让我们回到我们在评论区的朋友。

为什么他的"下一个 token"评论很重要？为什么不直接忽略他？

因为还原主义是进步的敌人。

如果你相信 AI 只是一只鹦鹉，你会像对待鹦鹉一样使用它。你会要求它写电子邮件或总结会议。你会把它当作玩具。

但当你这样做的时候，理解 GRPO 和 RLVR 的工程师正在使用这些模型来：

- 重构整个代码库。
- 发现新的数学证明。
- 优化供应链。

他们知道虽然*原子单位*是一个 token，但*结构*是一个推理的计划。

说"这只是下一个 token 预测"就像看着西斯廷教堂说，"这只是石膏上的油漆。"你在技术上是正确的，但你错过了整个工作的重点。

## 6、结论：使用你的大脑

下次你看到有人用他们在 YouTube 视频中听到的一句台词否定整个 AI 领域时，不要生气。只要意识到他们被困在 2023 年了。

我们已经向前迈进。我们不再构建文本预测器。我们正在构建包裹在文本界面中的推理引擎。

这些机制——用于自我竞争的 GRPO，用于可验证真理的 RLVR——是复杂的。它们需要深刻的理解。但它们是有史以来第一次，我们有不只是模仿人类智能——它们开始在狭窄、可验证的领域超越它的机器的原因。

所以，对于"回复哥"：阻止噪音。

对于其他人：开始构建。

---

原文链接: [Stop Saying "It's Just Next Token Prediction" (You Sound Like a 2023 Tutorial)](https://generativeai.pub/stop-saying-its-just-next-token-prediction-you-sound-like-a-2023-tutorial-f04d44c3358b?ref=hubwiz.com)

汇智网翻译整理，转载请标明出处