越大越好：当规模化成为定律

当我第一次看到这些模型做了我没教过的事情时，我正坐在一个普通的网页表单前，盯着文本框里闪烁的光标。

这不是聊天窗口。那时聊天窗口还不存在。只是一个 API 操场：一个空白的大字段，你输入一些文本，点击运行，模型就会继续它。那就是整个界面。你写了开头，它写了其余部分。

所以我做了一个小小的实验。像这样：

English: I have three dogs.
French: J'ai trois chiens.
English: The weather is nice today.
French: Il fait beau aujourd'hui.
English: Where is the train station?
French:

我从未告诉它要翻译：没有微调，没有数据集，没有调整任何设置。我只是给了它两个例子，把第三个悬在那里。它就正确地完成了那一行，用法语，就好像这显然是一直以来的任务一样。

我记得那种特定的感觉，因为它接近于不安。我没有编写一个翻译器。我写了两个句子和一个冒号。我想要的行为来自我无法指出的地方。在我输入的内容和返回的结果之间的某个地方，是这一集的全部主题。

这个技巧有个名字（few-shot 或 in-context 学习），它或多或少出乎意料地出现在一个叫 GPT-3 的模型中。但 GPT-3 并不是这里的主角。主角是一个看起来无聊的图表，它在几个月前出现，将"让它变大"从少数固执的人持有的直觉，变成了你可以在幻灯片上下注一千万美元的定律。

这就是第 12 集的所在：规模从信仰变成算术的那一刻。

1、快速回顾

如果你刚加入，这是我们上次停下来的地方。

在第 11 集中，我们看到 OpenAI 将第 10 集的 transformer（特别是只预测下一个词的解码器部分）喂给了开放互联网。先是 GPT-1，然后是 GPT-2。训练目标简单得几乎令人尴尬：给定到目前为止的所有文本，猜下一个 token，检查你有多错，微调权重，重复几万亿次。没有标签，没有任务，没有人类写下正确答案。只有整个书面世界作为一张自我评分的练习纸。

这个简单目标中产生了一些奇怪的东西。一个只被训练来预测下一个词的模型开始做事情（回答问题、总结、翻译），而没有人训练它这样做。GPT-2 足够好，以至于让人紧张。

第 11 集以一个开放性问题结束，我承诺今天我们解决它。GPT-2 变大时变得更好。但这是一个真实、可靠的关系——还是只是曲线的一段幸运延伸，当模型变得昂贵时会让所有人失望？"越大越好"是定律还是侥幸？

2020 年，OpenAI 的两篇论文以改变整个行业优先级的方式回答了这个问题。其中一篇写下了数学公式。另一篇构建了数学预测的怪物。

让我们按顺序来，因为图表先出现，而图表是任何人愿意构建怪物的原因。

2、让规模化可预测的图表

在 2020 年之前，"只是让它变大"是一种氛围。少数研究人员相信它，更多人对此嗤之以鼻，没有人能告诉你更大的模型会好多少，这意味着没有人能证明花一大笔钱去发现是合理的。

2020 年 1 月，OpenAI 一个由 Jared Kaplan 和 Sam McCandlish 领导的团队发表了一篇标题平淡的论文《神经语言模型的缩放定律》，这是一颗悄无声息的炸弹。他们训练了一系列模型（小的、中的、大的，超过 200 个），并为每个模型测量了损失。

快速解释一下，因为一切都取决于这个词。损失只是一个衡量模型有多错的数字。当它即将预测下一个词时，它为每个可能的词产生一个概率；损失捕捉了它将多少概率质量放在了错误的答案上。较低的损失意味着模型对真实文本不那么惊讶：一个更好的预测器。仅此而已：一个你试图推低的错误分数。

所以 Kaplan 的团队调节了三个旋钮（模型有多少参数、你用多少数据训练它、你花费多少原始计算力），并将损失与每个旋钮作图。结果并不混乱。这是一条干净、平滑的曲线。具体来说，是一条幂律。

让我具体解释"幂律"，因为这个名字听起来比概念更花哨。

幂律是一种关系，其中一个事物作为另一个事物的稳定倍数变化。日常的判断是：如果你在坐标纸上作图，两个轴都按乘法而不是加法计数（1、10、100、1,000 而不是 1、2、3、4，在所谓的双对数图上），幂律表现为一条**直线。**不是波浪线。是一条用直尺画出的直线。

这种笔直是全部的礼物。直线是数学中最可预测的对象。如果你有一条直线并且你能看到它的走向，你可以延伸它。你可以站在测量数据的末端，沿着趋势放一把直尺，读出一个大十倍的模型会落在哪里——在你花一分钱构建它之前。

我不认为这种奇怪的感觉对我来说完全消失过。他们发现这些模型的智能，至少按损失衡量，是可外推的。你可以准确预测一个从未有人构建过的尺寸的模型会有多好。模型质量从你事后发现的东西变成了你事先在图表上预测的东西。

现在，一个诚实的警告内置其中：这是幂律，意味着**收益递减。**每一次额外的 10 倍规模带来的改进都比上一次 10 倍少。线条持续下降，但它是平缓的斜坡，不是悬崖。所以这从来不是"越大给你无限智能"。它是更有用、更清醒的东西：越大给你可靠、可预测的改进，而精确的兑换率就在这里。

而这个兑换率改变了整个行业。因为一旦你能预测回报，支出就不再是赌博，而开始成为投资。如果一张图表以直线的自信告诉你，一个大 100 倍的模型将跨越你的竞争对手无法触及的能力门槛，那么一次花费数千万美元的训练运行就不是鲁莽的。这是显而易见的行动。这张图表做了每个高管在签九位数支票之前需要的事情：它将一个信仰之跃变成了一个行项目。

模型构建几十年来一直感觉像炼金术：混合原料，念咒语，祈祷。Kaplan 的论文是它开始感觉像工程的那一刻。你可以在浇筑混凝土之前画出桥梁。

所以有人浇筑了混凝土。

3、GPT-3，以及没人有意放入的东西

几个月后，2020 年中期，OpenAI 发布了图表指向的模型。论文名为《语言模型是少样本学习者》，模型是 GPT-3：1750 亿参数。相比之下，GPT-2 的上限约为 15 亿。这大约大了一百倍，正是缩放曲线说应该有回报的那种跳跃。

在炒作中被遗忘的部分是 GPT-3 不是一个新想法。同样的解码器 transformer 来自第 10 集，同样的下一个 token 目标来自第 11 集。他们只是把它建得巨大，并喂给了它互联网的一大块。缩放定律说仅此就应该让它显著更好，而确实如此。

但它也做了图表没有承诺的事情。一些根本不在损失曲线中的事情。

还记得我在这篇文章开头的那个小翻译实验吗？就是那个。论文本身的标题示例几乎完全一样：

sea otter => loutre de mer
cheese =>

你给模型一个任务的几个例子，就在提示中，然后把最后一个留着不填——它就完成了它。没有重新训练。权重不会移动，任何地方都不会保存任何东西。"学习"完全发生在网络的一次前向传播中，当它读取你的提示时，并在请求完成的那一刻消失。

这就是上下文学习，我需要在这里完全慢下来，因为当你第一次遇到它时，它感觉像魔法，而它绝对不是魔法。

从"学习"对神经网络通常意味着什么开始。学习是训练：你给模型一个例子，它做一个预测，你测量误差，然后你物理调整它的内部数字，使它下次做得更好。权重改变了。模型之后不同了。这就是第 3 到 11 集的全部故事。

上下文学习不做这些。GPT-3 的权重是冻结的。当你给它提示时，它们不会移动。那么当它从两个例子"学习"你的翻译任务时，实际发生了什么？

这是诚实的、去神秘化的版本。在它巨大的预训练期间，GPT-3 不只是记住了事实。它读了太多文本，以至于吸收了无数任务的结构。在它吞噬的万亿单词中的某个地方，它看到了英法对列表。它看到了问答格式。它看到了成千上万次、成千上万种形式的示例后跟模式。所以当你给它两个翻译对和一个悬而未决的第三个时，你不是在教它翻译。你是在给它一个它见过一万次的格式，而它正在识别你的任务，然后以这种文本通常完成的方式完成它。

它很久以前就学会了翻译，以一种分散的方式，埋藏在预训练中。你的提示只是伸进去选择那个潜在技能。这几个例子不是一堂课。它们是一个地址。一种指向已经盘旋在那 1750 亿参数中的无数能力之一，并说就是这个，就现在的方式。

这个重构是现代时代，所以让我直说。上下文学习是一个巨大的预训练模型从它已经吸收的模式中识别你提出了什么样的请求，并相应地引导自己。所有这些都发生在一次前向传播中，没有任何永久性的东西改变。

而这正是你现在生活的世界开始的确切时刻。你称之为"提示工程"的一切，都是发现你可以用语言而不是重新训练它来引导这个东西。在 GPT-3 之前，将模型适应新任务意味着收集标记数据并运行训练任务（工程师的工作，需要几天时间）。在 GPT-3 之后，适应它通常意味着输入一个更好的提示。模型变成了一个由语言驱动的通用引擎。这种转变几乎是 GPT-3 的副作用，现在整个领域都依赖它运行。

4、我不再推销它的部分

我欠你局限性，就像我每周做的那样，而 GPT-3 的局限性比平时更重要，因为这种能力真实到很容易对自己撒谎关于差距。

首先，也是最重要的：它会编造事情。 GPT-3 会以与其陈述真实事实完全相同的流畅自信陈述虚假事实。我们称之为幻觉，一旦你理解了目标，它就不再神秘。模型从未被优化为正确。它被优化为合理（预测看起来像它训练文本的文本）。真实的句子和听起来自信的虚假句子在表面上看起来同样合理。所以模型，做着它被训练来做的精确工作，两者都产生，并且没有内在的感知知道哪个是哪个。流畅性和真实性是不同的目标，而下一个 token 预测只瞄准了第一个。

其次，它没有基础和冻结的记忆。无论它学到了什么，它在训练期间学到，然后就停止了。它不能查找任何东西。它不知道训练截止日期之后发生了什么。问它今天早上发生的事情，它要么拒绝，要么（更糟）编造一些合理的东西。见前一段。

第三（这个现在很容易忘记，因为一切都是友好的聊天框）：GPT-3 *强大但确实难以使用。*它不是助手。它与其说是遵循指令，不如说是继续文本。获得好的结果是一门手艺：你必须正确措辞，提供完美的示例，哄骗它做出你想要的行为。它会愉快地走神，模仿你提示的格式而不是回答它，或者陷入胡言乱语。它是一个出色的、情绪化的引擎，但还没有安装方向盘。普通人无法使用它，这个限制将成为下一集的转折点。

还有第四个曲折，它后来才出现，太诚实了不能省略，因为它使我刚才告诉你的关于缩放图表的干净故事变得复杂。

2022 年，DeepMind 一个由 Jordan Hoffmann 领导的团队发表了一篇论文（大家都叫它 Chinchilla），它回头重新审视了这个配方。他们发现 GPT-3 的构建是*不平衡的。它参数巨大但数据匮乏。GPT-3 的 1750 亿参数在大约 3000 亿个文本 token 上训练，每个参数约 1.7 个 token。Chinchilla 的分析说计算最优比例更接近二十。*模型大小和训练数据应该同步增长；将更多预算投入数据，而不仅仅是参数。

为了证明这一点，DeepMind 训练了一个名为 Chinchilla 的模型，只有 700 亿参数（不到 GPT-3 的一半），但喂给了它 1.4 万亿个 token。这个更小、喂养更好的模型全面击败了 GPT-3。

我喜欢这个修正，不是因为它让任何人尴尬。我喜欢它是因为它展示了"定律"表现得像真正的科学。第一篇缩放论文得到了形状：平滑、可预测、幂律回报到规模。Chinchilla 得到了混合：如何在大小和数据之间分配预算。直觉变成了定律，然后定律被下一次仔细的测量所完善。这就是过程按预期工作的方式。

但标题经受住了这一切：明智花费的规模，购买可预测的能力。行业听到并采取行动的速度比它对修正采取行动的速度快得多。Chinchilla 两年后出现，很多人仍然在引用第一篇论文。

5、为什么这是资本注意到的那一集

从机器上退一步。这是故事不再关于一个模型，而是变成关于你现在工作的整个领域的故事。

在 AI 上大赌注过去是一种没人能在预算会议上真正辩护的赌注。缩放定律将其变成了预测，而预测是解锁资本的东西。双对数图上的那条直线，比任何单个模型都更能解释过去几年的样子。实验室筹集了数十亿美元，"计算"这个词开始出现在财报电话会议中，数据中心成为地缘政治关注点。有人画了一条线，说*金钱以这个速率可靠地转化为能力。*一旦摆在桌面上，竞争就不再是谁有最聪明的想法。而是谁负担得起最大的运行。

你一直在看那个图表的结果，但并不总是知道。你经历的每一次能力跳跃（GPT-3.5、GPT-4、Claude 模型，所有的一切）都沿着这些曲线。每一个在很大程度上都是有人沿着相同的可预测斜坡更进一步，花费更多计算在更多数据上，以购买下一条线的增长。而你每天在提示中放入两个例子以获得你想要的行为的习惯？那就是上下文学习，2020 年的涌现惊喜，现在如此普通，你甚至没有注意到你在做它。

这里面有一种不安，我不想平息它，因为它是这一集真正的情感核心。事实证明，制胜之举就是*更大。*对于一个一直讲述优雅想法和美丽架构故事的领域来说，2020 年的教训更直白，有点令人沮丧。很多看起来像智能的东西，是当你取一个简单目标并倾注海洋般的规模时发生的事情。图表奖励的不是洞察力，而是资源。

这很不舒服，我宁愿让它不舒服也不愿整理它。这也是为这一系列接下来的部分设置的紧张关系。"只是花更多"是一种有天花板的策略，最终会有人问是否真的需要那么多钱。记住这个想法。我们会在几周后到达那里，当中国的一家实验室以一小部分成本做同样的事情，整个行业都退缩了。

我仍然对这一切感到眩晕的是图表的平滑性。智能（或我们一直决定称之为智能的东西）被证明有一条你可以用直尺画出并延伸到纸张边缘之外的曲线。你可以在它存在之前预测它。

也许这应该是安慰。大多数情况下，它只是让我想知道我们面前还有什么其他东西坐在我们还没想到要画的线上。

原文链接: Bigger Was the Whole Idea: The Year Scaling Became a Law

汇智网翻译整理，转载请标明出处