> ## Content Index
> Fetch the complete content index at: https://www.hubwiz.com/blog/llms.txt
> Use this file to discover other available public pages before exploring further.

# AI智能体狂热背后的真实账单
- URL: https://www.hubwiz.com/blog/the-real-cost-behind-the-ai-agent-frenzy/
- Published: 2026-06-02T02:37:33.000Z
- Updated: 2026-10-13T15:16:55.000Z
- Description: 这是你唯一需要的一篇指南，帮你理解智能体 AI 的隐性经济，以及如何在用 AI 构建的同时省钱。
- Author: admin
- Tags: AGENT, #Import 2026-10-14 14:41

我想在文章开头做一个承诺，然后用剩下的篇幅来赢得你的信任。如果你从头到尾读完这篇文章，你就不需要再看另一篇文章来理解智能体 AI 的隐性经济，或者如何在用 AI 构建的同时省钱。我试图写出那个我希望在我第一次看着一个整洁的小概念验证变成一张没人能完全解释得清的五位数月度账单时就存在的单一资源。

我的目标很简单。如果你带着基本的云或 AI 知识而来，你应该带着一个高级的、可运作的心智模型离开，了解智能体系统如何消耗资金、资金在哪里泄漏，以及哪些杠杆能确切地把账单降下来。我是为软件工程师、平台工程师、AI 工程师、云架构师，以及批准这一切的技术领导而写的。

关于可信度的一点说明，因为这很重要。这篇文章建立在行业研究分析、云成本管理社区的已发布指导、云提供商最佳实践，以及在生产环境中运行这些系统的团队的公开工程见解之上。我不会假装我在你的规模上亲自部署了这里的每一个模式。相反，我综合了证据一致显示的内容，将其翻译成工程术语，并在有数字的地方附上数字。将这些数字视为有据可查的参考点，而不是针对你特定工作负载的保证。

语气故意保持对话式。这个主题是技术性的，风险是真实的，但省钱是一个被术语埋没到没人采取行动的话题。我宁愿你读完时带着几个清晰的信念和一个周一就能用的检查清单。

> **一句话版本：** *智能体 AI 变贵不是因为 token 涨价了。它变贵是因为一个用户请求悄悄变成了几十次模型调用，而几乎没人注意到这个乘数。*

## 1、核心论点

以下是本文其余部分要捍卫的论点。智能体 AI 创造了与传统 AI 应用根本不同的成本曲线，而大多数团队直到生产环境的账单到来时才发现这一点。

传统的 AI 功能，比如聊天机器人或分类端点，有着大致线性的成本曲线。一个请求对应一次模型调用。智能体系统完全打破了这一假设，因为智能体不是回答，它们在工作。它们反复推理。它们调用工具。它们为每个任务触发多次模型调用。它们在此过程中积累长上下文窗口。它们规划、行动、观察并重新规划，循环往复。它们消耗的 token 比任何聊天机器人都多得多。

后果现在正在数据中显现：

- Gartner 警告称，超过 40% 的智能体 AI 项目面临在 2027 年底前被取消的风险，理由是成本攀升、业务价值不明确和治理薄弱。
- 成本控制已成为 AI 基础设施中最重要的学科之一，与可靠性和安全性同等重要。
- 在最新的行业云成本调查中，98% 的组织现在积极管理 AI 支出，而两年前大约只有三分之一。
- 根据反复的行业调查，缺乏严格成本管理的组织 routinely 浪费大约 30% 到 40% 的云支出。
- 应用经过验证的成本节约实践的团队，通过承诺折扣、合理调整规模、调度和工作负载优化，持续将这些成本拉低。

如果这个论点成立，那么成本控制就不是你最后才附加的财务杂务。它是属于设计评审中的架构关注点，与延迟和可靠性并列。让我告诉你为什么。

![智能体 AI 成本如何从概念验证扩展到生产环境。](https://substackcdn.com/image/fetch/$s_!iQPd!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fd3e144b4-cd92-4b34-b6e2-66832a6e441f_1311x795.png "智能体 AI 成本如何从概念验证扩展到生产环境。")

*图：智能体 AI 成本如何从概念验证扩展到生产环境。*

## 2、廉价 AI 的幻觉

几乎每个智能体项目都始于一个令人愉悦的时刻。有人接入一个模型，给它几个工具，让它做一些真正困难的事情，而它成功了。演示运行了几次，成本仪表盘显示几美元，于是大家得出结论：这很便宜。这个结论就是陷阱。

演示看起来便宜有一个无聊的原因：数量。一个概念验证在构建过程中可能总共运行几百个任务。生产环境运行几十万次。每个任务的成本没有变，但前面的乘数变了三个数量级，而且智能体中每个任务的成本已经比人们假设的高得多。

## 3、为什么 token 消耗会爆炸

在经典的聊天机器人回合中，你发送一个简短的提示，得到一个简短的回答。假设 500 个输入 token 和 300 个输出 token。按照代表性前沿定价，大约每百万输入 token 3 美元、每百万输出 token 15 美元，那个单一回合的成本约为六十分之一美分。很舒适。

现在把它变成智能体。为了完成一个任务，智能体先规划，然后调用工具，读取结果，对其进行推理，再调用另一个工具，反思是否成功，然后重试。每一步都重新发送不断增长的对话，因为模型是无状态的，必须被提醒到目前为止发生的一切。一个现实的任务可能涉及十几个模型调用，每个调用携带平均 8,000 个输入 token 的累积上下文，并产生 800 个输出 token。这算下来每个任务大约 43 美分。同一个模型，同样的定价，但大约是聊天机器人回合成本的 70 倍。

> **量化场景：** *每月 100,000 个任务时，聊天机器人模式的成本约为 600 美元。智能体模式的成本约为 43,000 美元。在概念验证期间，当你运行 1,000 个任务时，同一个智能体的成本约为 430 美元，这正是它看起来无害的原因。*

## 4、为什么推理模型比纯推理系统更贵

现代模型内部还隐藏着第二个乘数。推理模型在回答之前会生成很长的内部思维链。这些思考 token 像任何其他输出 token 一样计费，而且它们可能使可见的响应相形见绌。一个推理模型可能会发出几千个 token 的 deliberation 来产生一个 200 token 的回答。把它叠加到智能体循环上，模型在每一步都在思考，你可以看到单个用户请求如何从几百个 token 膨胀到几十万个。纯推理系统只是简单地将输入映射到输出，没有迭代 deliberation，因此不会产生这种开销。这种能力是真实存在的，通常值得。关键是能力和成本一起上升，而且上升得很陡。

![单次聊天机器人调用与 10 到 50 次智能体循环调用。](https://substackcdn.com/image/fetch/$s_!kzg9!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fb0eb9fda-55b1-47f3-860c-f0b9cd4913f1_1216x700.png "单次聊天机器人调用与 10 到 50 次智能体循环调用。")

*图：单次聊天机器人调用与 10 到 50 次智能体循环调用。*

## 5、钱实际上花在哪里

当账单终于引起注意时，第一个问题总是相同的：这来自哪里？智能体系统把成本分散在一个令人惊讶的广泛栈中，而人们预期会占主导地位的明细项很少是整个故事。以下是它的累积方式。

### **5.1 LLM 推理**

这通常是最大的单一明细项，对于 token 密集的智能体工作负载，它可以占到总数的 50% 到 70%。它完全由所有那些推理和工具调用步骤中的 token 量驱动。如果你只能监控一件事，那就监控每个任务的 token 数。

### **5.2 智能体编排**

协调规划、工具调用和重试的框架在某个地方运行，通常是在始终开启的计算资源上。编排本身每个请求很便宜，但它倾向于持续运行且利用率低，因此它每天 24 小时悄悄计费，无论是否有工作流在运行。

### **5.3 向量数据库**

检索增强系统依赖向量存储，而这些存储的昂贵具有欺骗性，因为它们是内存绑定的。将数千万个 embedding 热保存在 RAM 中以实现低延迟搜索，意味着要为大型、始终开启的实例付费。一个中等规模的向量索引在你在生产环境中提供单个查询之前，每月轻松就能达到几千美元。

### **5.4 Embedding 生成**

你摄入的每个文档和你嵌入的每个查询都要花费一次模型调用。它每项很便宜，但总量很残酷。在模型升级后重新嵌入一个大型语料库，本身就可能是一个四位数或五位数的开销。

### **5.5 可观测性**

追踪每个智能体步骤、每个 token 和每个工具调用会产生大量的遥测数据。日志和追踪的摄取按量计费，而 AI 可观测性数据本质上是高容量的。可观测性达到 AI 总支出的 5% 到 10% 是很常见的，这让团队每次都感到惊讶。

### **5.6 存储**

对话历史、中间产物、缓存结果、文档语料库和模型检查点都会累积。存储单独来看很便宜，但它永远不会被清理，因此它逐月复合，像一个缓慢的泄漏。

### **5.7 GPU 利用率低效和闲置基础设施**

如果你自己托管模型，这就是真正的浪费所在。为峰值流量配置的 GPU 集群在一天中的大部分时间里利用率只有 10% 到 30%。你全天候为整张卡付费，却只使用了它的一小部分。再加上整夜运行的开发集群、被遗弃的实验，以及为安全起见选择的超大实例，仅闲置基础设施一项就能占到账单的很大一部分。行业调查一致将总云浪费放在 30% 到 40% 的范围内，而 AI 工作负载正在多年缓慢下降后再次推高这个数字。

> **洞察：** *推理承担了指责，但可避免的钱通常花在了配角身上：闲置的 GPU、始终开启的向量存储，以及没人设置上限的可观测性。这些也是最容易的胜利。*

![典型智能体 AI 账单中钱的去向。](https://substackcdn.com/image/fetch/$s_!Yp1S!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F23f54b21-6410-4048-9fd0-76afb71a63ea_1617x799.png "典型智能体 AI 账单中钱的去向。")

*图：典型智能体 AI 账单中钱的去向。*

## 6、智能体的隐藏乘数效应

这篇文章中最重要的单一概念就是乘数。其他一切都是细节。所以让我通过从单个请求走到多智能体系统，并观察调用次数攀升，来把它具体化。

### **6.1 单个请求与智能体工作流**

单个请求是一次模型调用。智能体工作流是一个循环。智能体接收一个目标，将其分解为步骤，对于每个步骤，它推理、行动并评估结果，然后决定下一步做什么。即使是一个简单的任务，一旦算上规划和几次修正，往往也需要五到十次模型调用。

### **6.2 多步推理链**

复杂任务要求智能体分阶段推理，每个阶段至少是一次模型调用，如果模型进行 deliberation，则通常是几次。一个研究风格的任务，收集信息、综合信息并起草输出，仅推理就可能花费十到二十次调用。

### **6.3 工具调用**

每个工具调用都是一次往返。模型决定使用一个工具，你执行它，然后你把结果发回给模型以便它解释，这是另一次调用。使用五个工具意味着至少十次模型交互，而且你每次反馈结果时上下文都会增长。

### **6.4 检索循环**

检索增强智能体经常搜索，评估结果是否足够好，优化查询，然后再搜索。两到三轮检索，每轮都有一个评估步骤，是很常见的，而且每一轮都会把更多检索到的文本塞进上下文窗口，然后你在随后的每一步中都要付费处理这些文本。

### **6.5 反思循环**

自我修正的智能体添加了一个批评者来审查工作并要求修改。一个反思和修正的循环本身就能使调用次数翻倍，因为智能体实际上完成任务、评分，然后再做一遍。

### **6.6 多智能体架构**

现在组合几个这样的智能体。一个编排器将任务委托给专业子智能体，每个子智能体运行自己的推理和工具循环，然后聚合它们的输出。四个子智能体每个进行八到十二次调用，再加上一个协调它们的编排器，一个用户请求就达到了 40 到 50 次模型调用，而且没人写了低效的代码。

> **量化乘数：** *一个用户请求通常会产生 10 到 50 次模型调用。成本不是与用户数量线性扩展的，而是与每个任务的调用次数乘以每次调用的上下文增长扩展的，这就是为什么任务复杂度翻倍可能使账单翻四倍。*

这就是让团队措手不及的非线性。你预算时以为成本随用户数量扩展，但它实际上随智能体循环的深度和上下文的大小扩展，而这两者都随任务的难度增长。更难的任务不是稍微贵一点。它们是成倍地更贵。

![一个请求如何倍增为几十次模型调用。](https://substackcdn.com/image/fetch/$s_!Frax!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Feb4b5cde-fe76-427f-b0e4-09c032b92d3f_1216x677.png "一个请求如何倍增为几十次模型调用。")

*图：一个请求如何倍增为几十次模型调用。*

## 7、为什么大多数团队发现问题时为时已晚

如果经济学是如此可知的，为什么它还会不断让人感到惊讶？因为项目早期生活中的每一个激励都指向远离成本的方向，直到它变成危机的那一刻。

它始于概念验证的成功。演示成功了，团队很兴奋，领导批准了生产。没有人在概念验证期间分析成本，因为在概念验证的规模下，成本是一个舍入误差。正是那个赢得绿灯的东西，低容量下的低绝对成本，隐藏了每个任务的经济学。

然后是缺乏成本可见性。大多数团队能告诉你他们的总云账单，但无法告诉你单个已完成任务的成本，或者哪个智能体步骤最昂贵，或者一个反思循环增加了多少。没有每个任务和每个步骤的成本遥测，账单就是一个不透明的数字，只有在损害造成之后才会变动。

治理通常也缺失。通常没有每个功能的预算，没有当工作负载的每个任务成本向上漂移时的警报，没有对智能体可以运行多少循环的上限，也没有审查新智能体在预计容量下会花多少钱的关卡。系统可以自由地随着每次部署变得更贵，而没有任何东西会阻止它。

这一切之下是一个激励问题。工程师因交付功能和提高质量而获得奖励，而不是因降低每个任务的成本。在添加另一个使输出稍微好一点的推理步骤和移除一个来省钱之间，功能本能每次都赢，因为这就是团队被衡量的标准。

常见的组织错误遵循一个模式。团队为每个任务选择最大、最有能力的模型，因为这是安全的默认选择。他们让开发和预发布环境全天候运行。他们没有设置输出长度或循环次数的最大值。他们从不实现缓存。他们把向量数据库当作设置好就忘的东西。而当财务部门转发一封主题行里带问号的账单时，他们一次性发现了所有这些问题。

> **需要注意的模式：** *如果你的团队能说出你的月度 AI 账单，但说不出你每个已完成任务的成本，那你已经在盲目飞行了。可见性是随后所有节省的前提。*

## 8、省钱成为 AI 生存技能

这里的成本管理意味着为可变支出带来真正的财务问责。为云构建的经典版本分三个阶段运行：看见，你获得可见性并将成本分配给所有者；削减，你移除浪费并应用折扣；保持，你建立治理和文化以防止节省被侵蚀。它从根本上讲是给工程团队提供数据和激励，让他们在不放慢速度的情况下做出有成本意识的决策。

这门学科已经为 AI 进化了，因为 AI 打破了它的几个旧假设。经典的云成本管理主要追踪计算、存储和网络。AI 引入了一个新的原语，token，它的行为与账单上的其他任何东西都不同。AI 还以 GPU 的形式重新引入了昂贵、稀缺、难以调度的硬件，而在十年里我们一直把计算视为廉价和可替代的。结果是，AI 成本控制必须处理传统成本管理从未触及的维度。

### **8.1 Token 经济学**

Token 是 AI 成本的单位，而且它们特别难以捉摸，因为消耗量由模型行为决定，而不仅仅是请求数量。同一个功能根据提示长度、上下文累积、输出长度和智能体运行的循环次数，成本可能 wildly 不同。管理 token 经济学意味着测量每个任务的 token 数，将它们归因于功能和团队，并将每个任务 token 数的上升视为缺陷，而不是生活的现实。

### **8.2 GPU 经济学**

GPU 昂贵、供应受限且难以共享。一个高端多 GPU 实例按需每月可能花费数万美元。经济游戏是让这些卡保持忙碌，因为闲置的 GPU 是你整个资产中最昂贵的闲置资源。利用率是重要的指标。

### **8.3 模型利用率和工作负载优化**

除了硬件之外，还有你是否在为工作使用正确的模型，以及工作负载是否被高效塑造的问题。将每个请求路由到前沿模型就像开着货运卡车去上班。工作负载优化、批处理、缓存、修剪上下文，以及将模型大小与任务难度匹配，是工程判断直接转化为美元的地方。

这里有一个给工程师的实用重构。在 AI 上省钱不是财务部门在你肩膀后面盯着。它是你已经应用于延迟和可靠性的同一门学科，只是指向了成本。你分析，你找到热点路径，你优化它，然后你放一个测试以防止它退化。热点路径只是恰好以 token 和 GPU 小时计价。

![控制 AI 成本的看见、削减、保持循环。](https://substackcdn.com/image/fetch/$s_!0EhA!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F1fd15216-d596-4f2c-9c86-284958ba9f01_1216x562.png "控制 AI 成本的看见、削减、保持循环。")

*图：控制 AI 成本的看见、削减、保持循环。*

## 9、AI 团队投资回报率最高的省钱实践

这是值得收藏的部分。这些是让账单变动最大的实践，大致按从最广泛杠杆到最 AI 特定的顺序排列。每一个都有可测量的范围，来自云提供商指导和行业基准。

### **9.1 预留实例和节省计划**

如果你运行可预测的、稳态的计算，特别是自托管的 GPU 推理，承诺使用它是最大的单一折扣。通过承诺一到三年的期限，你用灵活性换取价格。主要云提供商公布的节省约为按需定价的 40% 到 72%，三年期、全预付的条款折扣最深。

它们在你的基线真正可预测时有效。如果你能回顾过去三个月，看到你永远需要的计算下限，就承诺那个下限，把波动的顶部留给按需或 spot。风险是收益的镜像。承诺了你不再使用的容量，因为你更换了实例类型或流量下降了，而你继续为它付费。纪律在于保守地承诺稳定的基础，并定期审查利用率。

> **可测量结果：** *对稳定的 GPU 推理集群使用预留容量通常能将该明细项削减 40% 到 72%，对延迟或质量没有影响，因为硬件是相同的。你唯一改变的是合同。*

![承诺稳定容量可将计算成本削减 40% 到 72%。](https://substackcdn.com/image/fetch/$s_!MZB8!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F32af2209-30bf-4bb1-b40f-0c6d7b6c522e_1314x721.png "承诺稳定容量可将计算成本削减 40% 到 72%。")

*图：承诺稳定容量可将计算成本削减 40% 到 72%。*

### **9.2 AI 基础设施合理调整规模**

合理调整规模意味着将资源与实际负载匹配，而不是你在配置时担心的负载。它通常能回收未优化账单的 15% 到 25%，而在 AI 工作负载上，浪费往往更严重，因为 GPU 被慷慨地选择。

经典的 GPU 例子：一个团队配置了八个高端 GPU 来服务一个在两台 GPU 上就能舒适运行的模型，因为他们为一天出现两次的流量峰值做了规模规划。另外二十二个小时，六张卡以全成本闲置。将规模调整到真实负载，并为峰值使用自动扩展，可以将该计算削减一半以上。在 CPU 和内存方面，编排服务和数据管道的配置 routinely 是实际使用量的两到四倍。合理调整这些规模，并将它们打包到更少、更忙的节点上，能回收稳定的节省，这些节省在你运行的每个环境中都会复合。

> **可测量结果：** *合理调整规模可回收未优化账单的 15% 到 25%。在过度配置的 GPU 集群上，将利用率从 20% 提高到 60% 到 70%，可以将推理计算削减一半，同时提高每美元的吞吐量。*

![提高 GPU 利用率降低每单位工作的成本。](https://substackcdn.com/image/fetch/$s_!ThAQ!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F4b5bab3a-ccf4-4547-8a52-3deaa1b58bf9_1274x746.png "提高 GPU 利用率降低每单位工作的成本。")

*图：提高 GPU 利用率降低每单位工作的成本。*

### **9.3 非生产环境调度**

开发、测试和沙盒环境很少需要在工作时间之外运行，然而它们中的大多数都在持续运行。一个每周大约使用五十小时的开发集群正在为全部 168 小时计费。将这些环境调度为夜间和周末关闭，并在需要时唤醒，可以将它们的成本削减约 70%，这通常转化为总账单的 10% 到 20%，具体取决于你的资产中有多少是非生产环境。

这 cleanly 适用于 GPU 开发集群，那里的节省最大；适用于仅在工作时间或 CI 窗口运行的测试集群；以及适用于应默认关闭的沙盒环境。实现是平凡的，一个在日历上停止和启动的调度器，这正是为什么它经常被跳过，却又如此可靠地有利可图。

> **可测量结果：** *将非生产环境调度为仅在工作时间运行，可带来总账单约 10% 到 20% 的削减，对生产性能零影响，因为生产从未被触及。*

### **9.4 Token 优化**

现在我们来到 AI 特定的杠杆，而 token 优化是触及每个请求的那个。四大举措是提示压缩、上下文管理、缓存和响应限制。

- **提示压缩：** 将臃肿的系统提示和少样本示例削减到模型实际需要的内容。将一个 2,000 token 的系统提示削减到 800 token，每次调用节省 1,200 token，在高容量智能体上这是巨大的。
- **上下文管理：** 不要在每一步都重新发送整个历史。总结较早的回合，丢弃不相关的工具输出，只保留下一步需要的内容。这直接攻击了使智能体循环如此昂贵的累积。
- **缓存：** 主要提供商支持的提示缓存，让你能以 steep 折扣在多次调用中重用稳定的前缀，通常对缓存部分有约 90% 的折扣。语义缓存更进一步，通过对重复或几乎相同的查询返回存储的答案，完全偏转模型调用。
- **响应限制：** 设置一个合理的最大输出长度。无限制的生成是无限制的成本，而且大多数任务都有一个你可以强制执行的自然上限。

> **可测量结果：** *严格的 token 优化通常能将推理成本削减 20% 到 50%。仅提示缓存就能移除重复上下文高达 90% 的成本，而语义缓存可以偏转 30% 到 40% 的重复查询，同时将它们的延迟从几秒降到几毫秒。*

![在单个请求中叠加 token 节省。](https://substackcdn.com/image/fetch/$s_!jYDB!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fc2eac647-9427-4058-977f-1a30e043860a_1216x585.png "在单个请求中叠加 token 节省。")

*图：在单个请求中叠加 token 节省。*

### **9.5 模型选择优化**

不是每个任务都需要你最有能力的模型。较小的模型通常每个 token 便宜一个数量级，而且对于分类、提取、路由、简单摘要和格式化来说完全足够。经济学洞见是，一个足够好的较小模型胜过一个过度杀伤的较大模型，因为你为较大模型的能力每次调用都付了费，无论任务是否需要它。

权衡是真实存在的，值得尊重。在需要推理的任务上过于用力地推向小模型，质量会下降，这可能在重试、升级和人工清理上花费你比节省的 token 更多的钱。正确的方法是测量每种任务类型的质量，并选择能清除该类型质量门槛的最小模型，而不是一个适用于所有东西的单一默认。做得好，将模型与任务匹配可以将总 LLM 支出削减 40% 到 60%，而质量损失可以忽略不计。

### **9.6 检索优化**

在检索增强系统中，检索质量是一个成本杠杆，而不仅仅是质量杠杆，因为你检索到的所有内容都会变成你在随后的每一步中付费处理的上下文。更好的检索意味着你可以在提示中放入更少、更相关的块，仍然正确回答。

具体地说，添加一个按真实相关性重新排序候选者的重排序阶段，让你可以从，比如说，检索到的前二十个块降到前五个，而不会损失准确性。这是检索 token 减少 60% 到 75%，它缩小了随后每个推理步骤的上下文。更小的上下文更便宜、更快，而且它们通常还能提高质量，因为模型不会被边际相关的文本分散注意力。更好的排序管道是那些罕见的同时削减成本和提高质量的优化之一。

> **可测量结果：** *一个将检索到的块从二十个削减到五个的重排序阶段，可减少 60% 到 75% 的检索 token，缩小每个下游提示，而且经常同时提高答案准确性。*

**在不损害质量的情况下减少 AI 支出的工程模式**

上面的实践是策略和配置。接下来的是架构，是你构建到系统本身的模式。对于每一个，我都会给出收益、局限性和可测量的影响，因为每个模式都有它自己的成本。

### **9.7 语义缓存**

收益：存储按意义键化的查询和答案对，因此语义相似的问题返回缓存的答案，而不是命中模型。局限性：缓存的答案可能过时，而且过于急切的相似度阈值可能返回一个接近匹配但微妙错误的答案，因此它需要小心的调优和失效。可测量影响：30% 到 40% 的重复流量被偏转，缓存的响应在几毫秒内返回，而不是几秒。

### **9.8 混合检索**

收益：结合关键词搜索和向量搜索，这样你既能捕获精确术语匹配，也能捕获语义匹配，这提高了召回率，并让你可以检索更少的块来达到相同的准确性。局限性：更多需要操作和调优的部件，而且你需要合理地合并两个排序列表。可测量影响：更小、更高质量的上下文，减少每个查询的 token，同时保持或提高答案准确性。

### **9.9 模型路由**

收益：一个轻量级分类器检查每个请求，将简单的请求路由到便宜的模型，困难的请求路由到昂贵的模型。局限性：路由器本身必须快速且准确，而错误路由要么浪费钱，要么损害质量，因此你必须监控它的决策。可测量影响：当大量流量真正简单时，LLM 支出减少 40% 到 60%，而流量通常确实如此。

### **9.10 多模型架构**

收益：在一个管道中对不同角色使用不同的模型，例如用一个快速的小模型来起草，而只用一个较大的模型来验证或处理边缘情况。局限性：编排和评估中更多的复杂性，而且你必须定义清晰的交接标准。可测量影响：大量节省集中在廉价路径上，昂贵的模型只在其能力真正需要时才被调用。

### **9.11 蒸馏**

收益：在一个大模型的输出上训练一个小型专用模型，这样你在特定任务上获得大部分质量，而每次调用的成本只是很小一部分。局限性：数据和训练的真实前期投资，加上一个模型变窄了，它一件事做得很好，而不是每件事都做得 adequately。可测量影响：蒸馏任务在生产中的推理便宜五到十倍，一旦模型投入生产，在高容量下很快就能回本。

### **9.12 微调与提示**

收益：微调将行为和示例烘焙到模型中，让你可以删除长少样本提示并缩短每个请求，这永久性地削减了每次调用的 token。局限性：训练和维护成本，加上任务演变和微调老化时的漂移风险。可测量影响：每次调用更短的提示在高容量功能上迅速累积，但对于低容量或快速变化的任务，仔细的提示通常是更便宜、更灵活的选择。诚实的规则是，先提示，直到提示长度或容量使微调物有所值。

这些模式没有一个是免费的，盲目地堆叠所有模式会创建一个没人能调试的系统。技巧在于选择两到三个与你的流量形状匹配的模式，测量影响，然后停在那里。

## 10、一个有成本纪律的 AI 组织是什么样的

工具和模式只能带你走一部分路。长期保持 AI 成本可控的团队在组织上看起来是不同的，这体现在五个方面。

成本所有权是分散的，不是集中的。每个团队都能看到它拥有的功能的成本，并对这些功能的每个任务成本负责。财务部门不会追着工程师要解释，因为工程师已经有了仪表盘和预算。成本被视为一个共享的工程指标，就像延迟一样。

仪表盘报告真正驱动决策的指标：每个任务的 token 数、每个已完成任务的成本、GPU 利用率、缓存命中率和按模型、按功能、按团队划分的成本。测量单位是任务或已解决的结果，而不仅仅是原始美元总额，因为单位经济学才能告诉你一个功能是正变得更高效还是更低效。

预算存在于功能级别，带有异常警报，当每个任务的成本向上漂移时触发，而不仅仅是当绝对总额越过一条线时。这种区别很重要，因为一个功能在每个任务上可能变得两倍贵，而总额保持不变，仅仅因为容量下降了，而你想抓住的是退化，不是容量。

治理被构建到通往生产的道路上。新的智能体功能获得成本审查，就像它们获得安全审查一样，有在预计容量下的预计成本，以及对循环次数和输出长度的上限。承诺购买会针对真实利用率进行定期审查，这样你就不会为你已经长大的预留付费。

而 KPI 追踪将所有这些与价值联系起来。领先的组织追踪 AI 产生的业务成果的成本，每个已解决支持工单的成本、每个生成文档的成本、每个已完成工作流的成本，这样上升的账单可以与上升的价值相对比来判断，而不是孤立地恐惧。许多组织现在直接从他们的成本计划产生的节省中为 AI 投资提供资金，这些节省将成本纪律转化为增长推动者，而不是刹车。

![The layers of a cost-disciplined AI organization.](https://substackcdn.com/image/fetch/$s_!Br3x!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F91afc2d8-9dbf-4153-bf00-5f02fe5e8e75_1216x654.png "The layers of a cost-disciplined AI organization.")

*图：成本受控型AI组织的层级结构。*

## 11、AI成本管理的未来

它将走向何方？尽管时间线尚不明确，但趋势已足够清晰，可以据此进行规划。

智能体成本可观测性将成为一等公民。如今，大多数团队只能在请求层面看到成本。下一代工具将能在步骤层面追踪成本，将token和费用归因到每一个推理步骤、每一次工具调用和每一个子智能体，这样你就能精确看到循环的哪个部分昂贵以及原因。成本将成为你追踪链路中的一个span，与延迟指标并列。

成本感知编排将把预算纳入运行时。与其让智能体循环直到满足条件，编排器将为每个任务设定成本预算，根据剩余预算和任务重要性来决定花费多少步骤以及使用哪个模型。智能体将像思考目标一样思考自身的开销。

自主优化将自动化今天那些机械性的工作。持续的合理规模调整、根据实际利用率自动优化的承诺购买、自动调度和自动模型路由将作为闭环系统运行，其调整速度超过任何人工审查周期。这一点很重要，因为正如近期行业数据所示，手动成本管理已无法跟上AI工作负载变化的速度。

AI治理与成本治理将趋于融合。用于在智能体上执行安全、访问和合规策略的同一控制平面也将执行成本策略，因为两者本质上都是在约束自主系统被允许做什么。预算上限与工具权限属于同一类护栏。

而所有这些的核心指标将是每个任务的成本。随着模型商品化和能力广泛普及，差异化不再是你能否完成这项任务，而是你能以多低的成本在可接受的质量下完成它。每个任务的成本将成为被追踪的服务水平目标，像今天的延迟和可用性一样被持续优化。

![Where AI cost management is heading.](https://substackcdn.com/image/fetch/$s_!v_hf!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fd341028a-e0f3-4a3f-8b8f-86c6cf2cfcb2_1216x631.png "Where AI cost management is heading.")

*图：AI成本管理的发展方向。*

## 12、结束语

让我把这些线索串起来。智能体AI正在改变云经济学，因为它改变了用户请求与系统执行工作之间的基本关系。聊天机器人只回答一次。智能体则会推理、调用工具、检索信息、反思并循环，将一个请求转化为数十次模型调用，且上下文窗口随着每一步而增长。成本不再随用户数量线性增长，而是随循环深度增长。这就是为什么生产环境的账单会让那些只测量过概念验证的团队感到意外。

这正是为什么节省AI成本正从可选项变为必选项。当Gartner警告超过40%的智能体项目可能因成本和模糊的价值而被取消，且当几乎所有组织都在积极管理AI支出时，信息很明确：能在洗牌中存活的团队，是那些从一开始就视成本为工程纪律的团队。

如果你读完本文后什么都不做，至少做这些事。为每个任务和每个步骤设置成本监控，这样你就能看到这个乘数效应，而不是靠猜测。将简单工作路由到更便宜的模型，将前沿模型留给困难工作。实施缓存并精简上下文，从源头攻击token增长。对你的稳定基线做出承诺购买，对其余部分进行合理规模调整，并将所有非生产环境的东西安排在无人使用时关闭。在每个新智能体上线前进行成本审查，就像你在每个新端点上线前进行安全审查一样。这些做法都不复杂，且都可以量化。综合运用它们，通常可以在不影响用户所见质量的情况下，将未经优化的AI账单削减30%到70%。

> **核心要点：** *在智能体AI竞赛中胜出的公司，不一定拥有最聪明的模型。它们将是那些能以最低可持续成本交付智能的公司。*

---

原文链接：[The Agentic AI Boom Has a Bill Attached: How to Save Money While Building with AI](https://bhavishyapandit9.substack.com/p/the-agentic-ai-boom-has-a-bill-attached)

汇智网翻译整理，转载请标明出处

> **这是「Agent / MCP」专题的一部分。**完整地图见：[Agent / MCP / 自动化完全指南](https://www.hubwiz.com/blog/agent-stack/)