AI Infra的下一场战争：推理

梯形图转SCL | 博途AI辅助编程文档 | AI模型价格对比 | AI工具导航 | ONNX模型库 | Vibe Coding教程 | PLC在线仿真器 | Tripo 3D | Meshy AI | ElevenLabs | KlingAI | ArtSpace | Phot.AI | InVideo

在生成式AI时代的大部分时间里，业界一直痴迷于训练。

• 使用了多少GPU？
• 模型有多少参数？
• 训练数据集有多大？
• 训练运行成本是多少？
• 数据中心消耗了多少电力？

训练前沿AI模型需要大量的计算资源，而获取大型GPU集群已成为AI行业定义性的竞争优势之一。

但AI基础设施故事的另一面正变得越来越重要。那就是推理。

LLM推理是使用预训练的大语言模型根据新的用户输入提示生成文本响应的过程。一旦模型训练完成，就必须有人运行它。

与训练不同，推理在模型发布后不会停止。这就是当今AI基础设施中最重要的理念可以用四个字来概括的原因：

训练一次，推断终身。

这句话不应从字面上理解。模型会随着时间的推移被重新训练、微调、蒸馏和替换。重要的理念是这种不对称性。

训练是周期性的。推断是运营性的。

随着AI从令人印象深刻的演示转变为每天被数百万人使用的软件，这种区别改变了整个行业的经济学。

1、第一场AI竞赛是关于训练的

生成式AI繁荣的第一阶段主要是模型竞赛。公司竞相训练更大、更强大的系统。这需要在GPU、网络、数据中心、电力和研究人才方面进行巨额投资。

基础设施问题本质上是：

我们能多快训练出更强大的模型？

但大多数企业并不训练前沿模型。它们在消费这些模型。

它们将模型嵌入银行系统、客户服务平台、搜索引擎、生产力软件、开发工具、分析应用程序和内部工作流中。对于这些组织来说，经济学截然不同。

训练运行可能偶尔发生，但使用这些LLM的应用程序每天都在运行。

2、推理过程中实际发生了什么？

从表面上看，推理似乎很简单。你发送一个提示，模型就会生成一个答案。

但在那个接口之下是大量的计算。对于大语言模型，推理可以大致分为两个阶段：预填充和解码。

在预填充阶段，模型处理输入提示并构建理解上下文所需的中间信息。这个阶段往往是计算密集型的。

然后是解码。

模型开始一次生成一个输出令牌。每个新令牌都依赖于上下文和之前生成的令牌。这使得LLM推理由简单地从数据库中检索记录变得非常不同。

模型在生成答案的同时执行计算。

NVIDIA将预填充描述为主要受计算限制，而解码具有不同的内存和带宽特性——这是现代推理系统越来越多地对两个阶段进行不同优化的原因之一。

这很重要，因为一旦AI大规模运行，这个过程中的微小改进就会产生复利效应。每个请求节省几毫秒听起来可能微不足道。节省少量GPU内存听起来可能微不足道。每次推理节省几分之一美分听起来可能微不足道。

然而，将这些改进乘以数十亿个令牌和数百万个请求，它们就成为了一种基础设施战略。

3、推理成本越来越低

但这并不意味着推理支出会消失。

一个有趣的悖论正在形成。运行AI模型的成本一直在急剧下降。

斯坦福大学2025年AI指数发现，在MMLU基准测试中，性能约为GPT-3.5级别的系统的推理成本从2022年11月的每百万令牌约20美元下降到2024年10月的0.07美元。

这是在大约18个月内超过280倍的降幅。斯坦福还发现硬件性价比和能源效率也有显著提高。

乍一看，这可能意味着推理经济学将变得不那么重要。我认为情况正好相反。

智能变得越便宜，我们能够使用它的地方就越多。

一家曾经将LLM用于一个客户支持功能的公司最终可以将AI放入数十个工作流中。一位曾经要求AI助手生成一个函数的开发者可以将整个工程任务交给代理。一位曾经总结文档的员工最终可以要求代理查找文档、比较它们、查询内部系统、分析结果、制作演示文稿并进行修改。

因此，即使单位智能的成本下降，我们消耗的单位数量也可以大幅增加。

这就是代理改变方程式的地方。

4、代理是推理乘数

聊天机器人相对简单。用户发送请求。模型生成响应。

代理的运作方式不同。

想象一下要求一个AI代理：

"分析我们的竞争对手，并为明年的产品战略创建一个建议。"

代理可能首先思考如何处理这个任务。然后搜索网络。然后检查内部文档。然后决定需要更多信息。然后调用另一个工具。然后分析结果。然后生成一个草稿。然后评估草稿是否回答了原始问题。然后可能重试部分过程。然后生成最终响应。

从概念上讲，工作流开始看起来像：

计划 → 搜索 → 推理 → 工具调用 → 观察 → 评估 → 重试 → 响应

代理任务背后的模型调用次数没有统一的数字。有些会很短；其他的可能涉及多次迭代。

所以，与其认为：

一个用户请求 = 一次推理

我们越来越多地需要认为：

一个用户请求 = 一个推理工作流。

这是一个重大的架构变革。

因为现在成本、延迟和可靠性在各个步骤中复合。假设一个代理进行十次模型调用来完成一个任务。

将每次调用优化20%不仅仅改善了某些抽象的基础设施基准。

它可以实质性地改变整个产品的经济学。

5、最强大的模型不应该解决所有问题

降低推理成本最简单的方法之一也是最重要的方法之一：

• 停止将每个问题都发送给最强大的模型：并非每个任务都需要前沿级别的推理。例如：分类电子邮件可能不需要与分析复杂收购相同的模型。

这就是为什么模型路由正在成为AI架构的重要组成部分。

而不是：

请求 → 大型模型

系统开始看起来像：

请求 → 评估复杂性 → 选择模型 → 执行

AWS的Well-Architected指导现在明确建议分解工作负载，并将较简单的推理请求路由到较小、更具成本效益的模型，同时为更困难的任务保留更强大的模型。

这创造了竞争优势的有趣变化。

最好的AI应用程序可能不是总是使用最聪明模型的那个。

它可能是那个知道什么时候不需要最聪明模型的那个。

6、量化：我们真的需要那么高的精度吗？

另一个主要的优化发生在模型内部。

神经网络通常使用一定精度的数值来表示其权重。更高的精度需要更多的内存和计算。

但推理并不总是需要模型生命周期其他地方使用的相同数值精度。

这就引出了量化。

一个权重通常使用16位或32位数字表示的模型，有时可以使用8位、4位或其他较低精度的格式表示。

这意味着需要存储和移动的比特更少。

Hugging Face的文档解释说，量化可以减少模型内存需求和计算成本，同时可能在兼容硬件上加速推理。权衡在于，激进的量化可能会引入一些精度损失，因此它成为另一个工程优化问题，而不是免费的改进。

从商业角度来看，量化很有趣，因为它展示了一个重要的原则：

智能的生产版本不一定需要看起来完全像智能的训练版本。

你可以为模型实际需要运行的环境进行优化。

7、蒸馏：让昂贵的模型教便宜的模型

蒸馏将这个想法更进一步。想象你有一个非常强大但昂贵的模型。你不是将它用于每个未来的请求，而是将该模型用作教师。

它的行为被用来训练一个较小的学生模型来执行特定任务。学生模型不一定需要复制教师知道的所有内容。

它只需要在你关心的工作负载上变得非常出色。

这个基本想法可以追溯到多年前；Geoffrey Hinton、Oriol Vinyals和Jeff Dean将知识蒸馏描述为一种将知识从笨重的模型压缩到更容易部署的模型中的方法。

这个想法在生成式AI时代再次变得特别重要。

AWS表示，其Bedrock模型蒸馏可以创建特定任务的模型，对于某些工作负载（如RAG），速度最高可提高五倍，成本最高可降低75%，同时在这些引用用例中报告精度损失不到2%。这些数字是AWS自己的产品结果，而不是普遍保证，但它们说明了为什么企业正在关注这项技术。

战略模式很强大：

使用昂贵的智能来创造更便宜的智能。

这对于重复的企业工作流可能变得越来越重要。

8、KV缓存：停止重新计算模型已知的内容

另一个主要的推理优化来自避免重复工作。

在生成过程中，transformer模型反复需要来自早期令牌的信息。如果系统为每个新令牌重新计算所有这些信息，推理将极其浪费。

因此，推理引擎维护一个KV缓存，存储先前计算的键和值表示，以便可以重用。这对于重复的提示变得特别有趣。

企业应用程序经常一遍又一遍地发送相同的大系统提示、策略、指令或共享上下文。

代理工作流也经常将大部分相同的对话历史从一个推理步骤带到另一个步骤。

当提示共享相同的前缀时，现代推理引擎可以重用缓存的计算。

NVIDIA的TensorRT-LLM文档表示，KV缓存重用可以减少共享提示前缀的请求的首个令牌时间，而vLLM将自动前缀缓存描述为完全避免冗余提示计算的一种方式。

突然之间，提示设计不仅仅是一个应用程序问题。它可能成为一个基础设施问题。

随着上下文窗口的增长和代理维护越来越长的历史，上下文本身成为一种基础设施资源。

9、连续批处理：保持GPU繁忙

GPU很昂贵。一个部分空闲的昂贵GPU更加昂贵。这使得利用率至关重要。

传统的批处理将多个请求分组在一起并作为一个批处理进行处理。但语言模型请求很尴尬，因为它们具有不同的提示长度并产生不同长度的响应。

• 一个用户可能只要求一句话。
• 另一个可能要求一份3000字的报告。

如果每个请求都必须等到其批处理中的其他每个请求完成，那么大量的容量可能会被浪费。

连续批处理通过在生成过程中动态改变批处理来解决这个问题。

当一个请求完成时，另一个等待的请求可以取代它的位置。

Hugging Face简单地描述了目标：保持GPU满载，以便吞吐量保持在高水平，而不是等待整个静态批处理完成。

同样，模型本身并没有变得更聪明。

系统在运行模型方面变得更聪明。

这种区别可能定义了下一个AI基础设施时代的大部分内容。

10、推测解码：让较小的模型提前猜测

大语言模型通常自回归地生成输出：一个令牌引向下一个。这造成了延迟问题。

推测解码试图通过使用较小、较快的模型——或其他轻量级机制——来提出几个未来的令牌来加速这个过程。

较大的目标模型然后验证这些候选者。当猜测被接受时，多个令牌可以有效地通过生成过程，比完全依靠大型模型按顺序生成每个步骤更高效。

关于推测解码的研究表明，该技术可以实质性地加速推理，尽管实际改进在很大程度上取决于草稿模型、硬件和工作负载等因素。

这再次反映了同样的新兴理念：

不要在较便宜的计算可以完成部分工作的地方花费昂贵的智能。

11、GPU正在成为共享基础设施资源

这个故事还有另一个层面，位于模型本身之下。

GPU基础设施必须变得更加动态。

不同的请求有不同的要求。

不同的模型有不同的内存占用。

流量在一天中波动。

代理工作负载可能产生推理活动的突发。

长提示的行为与短提示不同。

即使同一请求的预填充和解码阶段也可能对硬件提出不同的要求。

这正在引导推理系统采用动态调度、GPU共享、多模型服务、自动扩展，甚至在不同资源之间分离预填充和解码工作负载等技术。

例如，NVIDIA的Dynamo文档描述了分解服务，其中预填充和解码可以在不同的工作池中运行并独立扩展，因为两个阶段具有不同的计算和内存特性。

这是一个比简单地**"将模型放在GPU上"**复杂得多的基础设施问题。

12、每个令牌的成本可能最终成为错误的指标

今天，大量的AI经济学是以每百万令牌的成本来讨论的。虽然这可能有用，但代理可能迫使企业思考更高一个层次。

想象两个系统。

• 系统A运行成本为0.05美元，但只有60%的时间成功。
• 系统B成本为0.08美元，但95%的时间成功。

哪个更便宜？

仅凭令牌账单无法回答这个问题。

代理系统引入了重试、工具调用、推理循环、回退、上下文增长和验证。因此，企业将越来越多地需要衡量每次成功结果的成本，而不仅仅是每个令牌的成本。

对于企业AI平台，一些最重要的指标可能最终变成：

每个完成任务的成本。每次成功代理运行的成本。每个任务的令牌数。每个任务的模型调用次数。缓存命中率。GPU利用率。首个令牌时间。端到端任务延迟。由较小模型处理的请求百分比。重试率。升级到前沿模型的比率。

这改变了AI的FinOps。

而不仅仅是问：

"我们在模型X上花了多少钱？"

领导者可能会问：

"为什么这个工作流需要14次模型调用？" 或者

"为什么80%的这些分类请求都发送给我们最昂贵的推理模型？" 或者

"为什么我们反复处理相同的20,000令牌系统上下文？"

这就是架构开始变成经济学的地方。

13、行业已经在围绕每个令牌的成本进行优化

硬件公司清楚地看到了这种转变。

NVIDIA越来越多地使用吞吐量、交互性和每个令牌的成本等指标来营销其推理系统，而不仅仅是原始GPU性能。

其2026年推理材料引用SemiAnalysis InferenceX基准，认为其较新的Blackwell Ultra系统可以比早期基于Hopper的系统提供显著更低的令牌成本。NVIDIA还表示，仅软件改进就随着时间的推移实质性地降低了一些工作负载的推理成本。这些是供应商报告的基准，应相应对待，但被优化的指标很能说明问题。

基础设施竞赛不再只是：

这个芯片可以提供多少计算？

越来越多地是：

这个系统每美元、每瓦特和每秒钟可以提供多少有用的智能？

这是一个根本上更具运营性的问题。

14、一种新的企业AI架构正在出现

将所有这些趋势放在一起，AI应用程序的架构开始看起来非常不同。第一代具有线性工作流，而新兴的架构需要不断循环。

模型仍然非常重要。但它成为高效执行智能的更大系统中的一个组成部分。

这可能是最有趣的企业差异化出现的地方。例如：两家公司可以使用完全相同的基础模型。一个可能需要15次昂贵的推理调用来完成一个工作流。另一个可能通过三次小模型调用、一个缓存的提示、一次前沿模型升级和零重试来完成它。

底层的模型智能可能相同。经济学则不然。

15、这最终是一个商业模式问题

推理优化听起来像是一个深度技术基础设施话题。但它最终会影响损益表。

如果你的AI产品变得两倍受欢迎，你的推理工作负载就会增长。如果AI最终嵌入到企业内部的数千个决策中，推理就会成为一项重要的运营费用，而不是实验性技术预算。

这使得推理架构直接与毛利率相关联。

一家将完成AI任务的成本从1美元降低到0.1美元的公司不仅仅进行了工程优化。它可能创造了一个全新的可行商业模式。

这就是为什么推理价格下降如此重要。它不仅仅是让现有的AI变得更便宜。它扩展了AI能够经济地做的事情的数量。

16、护城河可能从模型转移到系统

生成式AI的第一阶段理所当然地将模型本身作为关注焦点，专注于拥有最大的模型、引领基准测试、设计更大的上下文窗口。虽然这些问题仍然重要，但这些模型的采用和实施取决于围绕它设计系统。

AWS已经建议从较小的模型开始，仅在工作负载达到可接受的质量时才增加模型能力，而不是将每个工作负载都默认为可用的最大模型。

这是一个微妙但重要的哲学变化。目标不再是：

使用尽可能智能的模型。

目标变为：

使用可靠完成任务所需的最少智能量。

17、从模型智能到智能效率

在过去几年中，AI进展主要通过我们能创造多少智能来衡量。那个时代并没有结束。前沿实验室将继续投入巨额资本进行训练。

但在这场竞赛之外，另一种竞争正在出现，并提出一个非常重要的问题：

每美元AI计算能产生多少有用的工作？

这可能成为下一阶段AI的定义性问题之一。我们花了上一个时代优化模型如何学习。下一个时代可能越来越多地是关于优化它们如何运行。

这将重点从训练最佳模型转移到构建最佳系统以重复执行智能。

因为一旦AI成为日常软件的一部分，模型就不会运行一次。它为每个客户、每个工作流和每个代理运行。

因此，训练一次，推断终身。

原文链接：The Next AI Infrastructure War: Train Once, Infer Forever

汇智网翻译整理，转载请标明出处。