> ## Content Index
> Fetch the complete content index at: https://www.hubwiz.com/blog/llms.txt
> Use this file to discover other available public pages before exploring further.

# AI定价背后的秘密
- URL: https://www.hubwiz.com/blog/the-secret-behind-ai-pricing/
- Published: 2026-05-05T11:47:31.000Z
- Updated: 2026-05-05T11:47:31.000Z
- Description: 让我通过解释现代AI中最被误解的基本组件之一，来揭示Anthropic（Claude的创造者）用来向你收取更多费用的一个把戏。
- Author: admin
- Tags: INDUSTRY, #Import 2026-10-14 14:41

几周前，我写了一篇文章解释涨价即将到来。

一些人不同意，**但仅仅用了几周时间就证明我是对的**，甚至比我预期的还要快。

然而，AI实验室正在以一种大多数人察觉不到的方式这样做，我认为这是一种相当不地道的手段。他们应该对此更加透明，但他们没有，**所以我今天的目标就是揭露这个问题**。

让我通过解释现代AI中最被误解的基本组件之一，来揭示Anthropic（Claude的创造者）**用来向你收取更多费用的一个把戏**。

## 1、没人知道的组件

很少有人知道，在你和你最喜欢的AI模型之间，存在一个被称为 **分词器（tokenizer）**的组件。

但要理解它是什么以及为什么它对你的总成本如此重要，我们需要先理解什么是令牌（token）。

### 1.1 什么是令牌？

你可能已经注意到，生成式AI中的一切都以"令牌"来衡量。

*但这些东西到底是什么？*

简而言之，**它是AI模型语义含义的基本单位**。它是ChatGPT等系统将数据"分解"为它所能理解的组成部分的方式。

在文本中，这意味着将其分解为单词。一个令牌具有其内在含义（单词本身就有含义），而这种含义会在每个令牌与序列中的其他令牌混合时被上下文化。

> 例如，"bank"根据上下文可以有多种含义，从金融机构到河流水道旁的坡地。

重要的是，令牌不一定是完整的单词；**它们可以是几个字母，甚至只是单个字符**。此外，不同的模型使用不同的分词方法。

例如，正如你在下面所看到的，GPT-4o将上面的序列分解为一串令牌，每个令牌被分配一个数字。

![](https://www.hubwiz.com/blog/content/images/2026/05/image-57.png)

这个数字是一个行ID；它是嵌入表中的行号，将像"red"这样的词转换为一组定义"red"对模型意味着什么的数字。

![](https://www.hubwiz.com/blog/content/images/2026/05/image-58.png)

*这些数字意味着什么？* 单独来看，意义不大。**但相对于其他令牌，它们意味着很多**。

由于模型不与真实世界交互，**它们构建的关于真实世界概念的理解主要是相对的**，而不是"隐性的"，这意味着"红色"不是通过真实的"红色"样本来衡量的，**而是相对于模型知道的其他概念来定义"它是什么"**。

也就是说，每个概念被分配的这串数字是与其他概念的相对语义距离。

也就是说，"狗"和"猫"，都是哺乳动物、家养、四条腿、毛茸茸的动物，它们的数字会比"狗"和"鸽子"更相似，而这两者都是动物，它们之间的距离会比"狗"和"门"更近。

![](https://www.hubwiz.com/blog/content/images/2026/05/image-59.png)

每个数字的意义可以更直观地理解为：它们代表了全局属性或维度，我们可以用这些维度来对概念进行分类。模型可能不完全知道沙威玛是什么，但它知道它比苹果馅卷更接近热狗。

![](https://www.hubwiz.com/blog/content/images/2026/05/image-60.png)

> 这就是模型构建理解的方式；它们通过将某物与其他"已知的已知"进行比较来理解它是什么。

总的来说，生成式AI模型将数据视为令牌序列，这些令牌组合起来解释整体含义。

这可以应用于文本、图像（将其分解为图像块/像素组）、通过频谱图的音频等等。

![](https://www.hubwiz.com/blog/content/images/2026/05/image-61.png)

这样做的主要原因是，**AI模型**，就像任何机器一样，**只能"理解"数字**。

因此，这个分词过程——将世界数据分解为模型能够理解的块——**是为了将无法处理的东西转化为模型"理解"的语义含义单位序列。**

尽管在改变这一点上已经进行了大量研究，但现实是，今天，这个分词器——将数据分解为令牌的组件——**是独立于实际模型的。**

![](https://www.hubwiz.com/blog/content/images/2026/05/image-62.png)

*但这为什么如此相关？*

因为分词器不仅扮演技术角色，**它还在很大程度上影响模型有多昂贵**。

### 1.2 令牌的大小和数量很重要

当你向ChatGPT发送"*What's today's news on the Iran war?*"时，这些词被分解为令牌，然后才被馈送给模型。

![](https://www.hubwiz.com/blog/content/images/2026/05/image-63.png)

模型同时看到所有令牌，并行处理它们，多次执行两个操作：

1. **注意力**。每个令牌可以与之前的令牌"对话"。"War"可以与"Iran"对话，以意识到我们在谈论伊朗战争，而不是拿破仑战争。这样做是因为，如前所述，含义是上下文化的。虽然"War"本身有含义，但它从上下文"Iran"中获取信息，以知道我们在谈论哪场战争。
2. **MLP**。基于可追溯到1950年代的第一个神经网络（是的，AI在某些领域并不完全是"新"的），这让模型能够根据自己的知识向每个令牌添加信息。例如，它可能会向"Iran"添加关于其与美国数十年纷争的信息，这些信息不在序列中，但对上下文化问题很有价值。

像Claude或Gemini这样的模型是这两个操作的串联，逐步构建足够的理解，使模型知道"接下来是什么"。

![](https://www.hubwiz.com/blog/content/images/2026/05/image-64.png)

两者都是令牌级别的计算，这意味着它们所需的计算量与它们被馈送的令牌数量成正比。

> 这引入了大多数人和企业在选择"x"或"y"模型时没有意识到的一个潜在惊喜；**令牌数量和令牌价格同样重要。**

虽然每个人都熟悉令牌价格（模型的定价基于它们处理和生成的令牌），但这掩盖了一个问题：**模型的行为和分词方式同样重要，甚至更重要**。

看看我们一直在讨论的例子。如果我们使用Meta的Llama 3分词器而不是OpenAI的分词器，**完全相同的文本序列被分词为10个令牌而不是8个**。

![](https://www.hubwiz.com/blog/content/images/2026/05/image-65.png)

这意味着，对于同一个模型，**如果它被馈送10个令牌而不是8个，序列的处理成本大约高出20%**。

更糟糕的是，因为分词为10个令牌的方案有更多压缩的令牌，生成完全相同输出响应的成本也会更高。

> 原因是我们之前解释过的：**注意力和MLP操作都随令牌数量扩展**。具体来说，注意力的"大O"复杂度为O(L²)，其中L是令牌数量。另一方面，MLP的复杂度为O(2\*L)，约为O(L)。

> 用大白话说，两个操作所需的计算工作量都随着令牌数量的增加而增长。

![](https://www.hubwiz.com/blog/content/images/2026/05/image-66.png)

这就是Anthropic玩手段的地方。

## 2、Anthropic的新分词器

问题的根源在于Anthropic的新模型**Opus 4.7**，仅仅因为它从Opus 4.6更换了分词器，令牌数量就增加了**最多35%**。

> 这很可能是因为Opus 4.7是Mythos（一个全新的模型）的蒸馏版本，但这是另一个故事了。

虽然Anthropic确实提到了这一点，但他们"忽略"了提及这可能意味着成本增加，原因不言而喻。

出于其他不言而喻的原因，人们已经开始对此进行测试，毫不意外地，**该模型要贵得多**，相对于Opus 4.7高出最多27%，**尽管拥有相同的令牌定价（每百万输入和输出令牌5美元/25美元）**。

Ramp进行了类似的分析并得出了相同的结论；Opus 4.7整体上就是更贵，**尽管GPT-5.5的输出令牌价格更高，为30美元对25美元**。

![](https://www.hubwiz.com/blog/content/images/2026/05/image-67.png)

就这样，通过一个大多数客户不够专业无法理解的简单更改——因为除了像我这样的分析师，没有人应该被迫理解分词器才能使用AI模型——**你的账单仅仅因为一个模型更换就增加了12-27%**，而改进却主要是边际性的，根本不能证明涨价的合理性。

## 3、不地道的手段会毁掉信任

一切都是不可避免的。**AI比我们被引导相信的要昂贵得多**，补贴迟早要结束。

而那个"迟早"就是现在。

**这些公司资产负债表上的窟窿是巨大的**，高达数千亿，而且其生命周期比传统IT资产短得多。

*收入呢？* 充其量，**所有相关公司每年总共约1000亿美元**（当然，不包括超大规模云服务商的收入，这些收入大部分是循环的，并没有真正的资金在交易）。

> 需要明确的是，收入增长令人印象深刻，但AI基础设施支出的增长仍然远远超过收入，至少在名义上是这样。

这些公司，特别是像Anthropic和OpenAI这样今年要上市的公司，无论如何都必须赚钱。

我理解这一点，**但我看到的这些不地道的手段最终可能会反噬**；这不是长期留住客户的方式，而且我看到这些公司几个月前还拥有的铁杆追随者正在出现明显的"氛围转变"。

我不能责怪任何人想赚更多的钱；**我当然可以对你们选择如何赚钱发表意见。**

我越是阅读这些东西，就越相信企业一旦变得足够成熟，就不会接受这一切，**并将大规模开始向开源迁移**（实际上，开源的门槛比人们想象的要低得多）。

你可以变相宣布近30%的涨价，而如今的公司可以说"谢谢，不需要"然后转向开源。

出于所有这些原因，我担心我们看到的大部分收入增长（主要来自企业）可能是短暂的，因为在我看来，**私有模型只在编码或基于智能体的系统等迭代工作流中才有意义**，在这些场景中，即使是智能方面的边际改进也很重要。

*那是一个万亿美元的市场吗？* 让我们希望它是，否则所有这些公司花费数十亿，结果企业却说，"是的，谢谢，但我们选择开源解决方案，它因为你们而存在，但比你们便宜得多。"

因为认为前沿AI——在我看来**将在未来多年持续涨价**——可以是用来自动读取邮件的自动化工具，这就像我祖父常说的"用大炮打苍蝇"，完全是荒谬的。

---

原文链接: [The Secret Behind AI Pricing Most People Ignore](https://medium.com/@ignacio.de.gregorio.noblejas/the-secret-behind-ai-pricing-most-people-ignore-22f009da22bd?ref=hubwiz.com)

汇智网翻译整理，转载请标明出处