在概率时代构建AI产品
我们正在离开代码可靠且确定性地获取某些输入以产生特定输出的世界，进入一个非常不同的世界，机器现在产生统计分布。
AI模型价格对比 | AI工具导航 | ONNX模型库 | Vibe Coding教程 | PLC在线仿真器 | Tripo 3D | Meshy AI | ElevenLabs | KlingAI | ArtSpace | Phot.AI | InVideo
最近我试图说服一个朋友，ChatGPT并没有记住每一个可能的病历，当她输入血液检查结果时，模型正在进行即使是OpenAI也无法真正预见的模式匹配。她无法相信我，我完全理解为什么。很难接受我们发明了一种我们并不完全理解的技术，它表现出了我们没有明确预期的行为。
当目睹AI进步速度时，拒绝是一种常见的反应。人们难以调和他们的世界观与AI现在能做什么以及如何做到。
这并非新事。主流直觉和文化影响总是落后于新的技术能力。三十年前，当我们开始在互联网上建立业务时，怀疑态度是相似的。向陌生人寄支票和免费提供服务感觉荒谬。但那些掌握了由零边际成本和无限可扩展分布组成的新现实的人变得极其富有。他们理解那些深植于世界观中的旧假设不再适用，并据此采取行动。
最终世界赶上了1，我们达到了新的平衡。在过去的几十年里，科技行业已经发展，培养了如何在线构建和增长数字产品的强烈直觉。我们发明了新的职位，从产品管理到增长负责人，而其他职位则从工程领导到绩效营销演变。所有人都创建了自己的剧本以蓬勃发展。
AI现在再次洗牌。
许多这些剧本已经过时。一些根本性的东西发生了变化。通用人工智能在科技行业的结构中造成了裂痕，颠覆了我们设计、工程、构建和增长软件的方式——从而颠覆了以软件为核心的企业。
我们现在处于一个阈限时刻，我们的工具已经超越了我们理解它们的框架。2 这是一个技术、认识论和组织变革，卓越的AI公司开始以与过去几十年显著不同的方式运营。
正如当我们超越牛顿的确定性宇宙，进入由波函数构成的奇怪且反直觉的地方时，物理学经历了概念革命一样，软件也正在经历自己的量子转变。我们正在离开代码可靠且确定性地获取某些输入以产生特定输出的世界，进入一个非常不同的世界，机器现在产生统计分布。
构建概率软件就像我们以前从未做过的事情一样。
1、经典世界
当今的科技行业已经由软件的核心本质塑造。
像它们组成的软件一样，数字产品将已知输入确定性地映射到预期结果。在Instagram上，用户可以上传图片、发送消息、留下评论、关注账户。在Netflix上，他们可以搜索项目、选择项目、流式传输视频项目。他们选择一个动作，并期望发生一个结果。
让我们将这些产品定义为函数F: X → Y。
每个输入x是产品内的用户操作，比如"在WhatsApp上发消息"、"在Uber上预订乘车"和"在Google Maps中搜索地址"。对于每个操作x，产品产生结果y：消息将被发送，乘车将被预订，地址将被搜索。
通过这个框架，可以理解为什么初创公司和科技公司以它们的方式工作。
这在工程管理中最为明显。
经典的管理软件工程团队绩效的方式看起来像这样：
如果你曾经有过开发者工作，你会立即认出SLO Datadog仪表板。它量化了系统的可靠性。由于工程师的工作是构建F(x)，我们问：执行操作x是否每次都产生结果y？无论你尝试多少次，它是否可靠地这样做？目标是100%：函数应该总是按我们期望的那样工作。
这就是为什么分层、谨慎重构和测试驱动开发是软件工程的标志：它们都源于F映射函数的本体论本质。由于要完成的工作总是在输入x时产生y，我们应该编写确保总是如此的测试，我们应该非常警惕一般的重构，并在引入可能影响箭头可靠性的新功能时小心。
产品管理和设计也是关于可靠地将x映射到y——只是在不同的抽象层次上。对于这些团队，它是关于构建一个函数F，其中输入x更像是"用户第一次观看了Instagram故事"，产生真实世界的结果y，比如"用户一个月后仍在使用产品"。
好的产品经理是关于引导用户通过价值漏斗。功能的基数是事先已知的：输入空间X是有限的、预先确定的功能和增长实验集。目标也是预先确定的：设计师和产品经理提前知道他们正在优化的目标。这意味着，就像工程师一样，他们也努力达到100%的用户从体验功能到产生业务结果的分数。对于这些团队，它看起来更像这样：
好的设计并不总是可量化的。有品味的产品不是关于指标。但最终它们确实存在以提供价值，而价值总是在漏斗中提供。当人们因为欣赏特定功能的有品味设计而停留更长时间时，这也算作一个漏斗：从体验该功能到长期继续付费。
转化、激活和留存都是需要可计数、预先定义的输入和结果的比率。我们能够计算这些数字并构建比率的原因是因为分子和分母都是有限的和预先确定的：**在函数创建之前，x和y可能的样子是已知的！**通过了解它们的基数，我们可以创建漏斗。
这就是为什么像Amplitude和Mixpanel这样的产品围绕漏斗，产品和增长团队的工作围绕优化转化率。
所有这些比率，无论是工程可靠性目标还是增长转化目标，都是我们在构建和增长软件产品时做出战略和战术决策的方式。我们如何衡量绩效，我们如何组织工作，我们如何设计和实施剧本。科技行业的整个操作系统都依赖于它们。
问题是，在AI的概率世界中，这些规则有可能变得适得其反。
2、量子状态
事情在2010年代末开始发生变化，当时我们开始在AI模型中见证真正泛化的第一个迹象。在那之前，机器学习系统本质上是"狭窄的专家"而不是"称职的通才"。3
然而，在过去十年中，研究人员已经意识到在大量数据上预训练深度学习模型"导致模型开发通用能力和知识，然后可以转移到下游任务"4。这个想法是，如果你专注于教授AI你感兴趣的整个领域的基本结构（比如语言），你可以一次性解锁一整类任务，而不需要事先定义它们！从识别垃圾邮件到回答琐事问题到扮演虚构角色。Google的T5显示"预训练导致模型开发通用能力和知识"，而OpenAI的GPT-2将我们"推向一个可以执行许多任务的更通用系统"。
这里的关键是这些模型没有在所有这些任务上明确训练。当在大量数据上预训练并仅针对某些指令进行微调时，我们可以"显著提高对未见过任务的零样本性能"。5
我无法强调"未见过"和"通用"在这里有多重要。它们使这成为计算历史上真正的分水岭时刻。这不再关乎教机器识别垃圾邮件：而是关乎教它们说话。这不再关乎教机器识别自行车或区分动物：而是关乎赋予它们视觉本身。
想想看：我们已经构建了一种特殊类型的函数F'，据我们所知，它现在可以接受任何东西——创作诗歌、翻译消息，甚至调试代码！——我们期望它总是回复一些合理的东西。就所有意图和目的而言，这是我们第一次停止控制输入空间，它现在突然变成开放式的。F(x)变成了F'(?)。
你可以问ChatGPT任何事情，从法律建议到情感支持，从使用代码的电子表格分析到占星预测。你可以要求Claude生成任何软件，从脚本到网站，到营销页面，到视频游戏。即使输入胡言乱语仍然会产生一些东西。从实践和哲学的角度来看，输入空间的基数现在基本上是无限的。
如果你正在构建AI产品，这相当令人费解。用户会用它们做什么？你如何确保所有客户始终拥有良好的体验？如果他们发现了这些模型可以执行但你未曾预见到的惊人新用例怎么办？如果他们发现了你的营销试图保持足够通用而暗示的不良用例怎么办？
更糟糕的是，输出的正确性并不总是有保证！一个构造为合理的回复并不意味着它会是正确的。这个新函数将回复的是一个估计。有时是幻觉。
我们能解决幻觉吗？嗯，我们可以训练完美的系统总是尝试正确回复，但有些问题根本没有"正确"的答案。当问题是"我应该离开他吗？"时，"正确"的答案到底是什么？
看，问题在于最有趣的问题定义不明确。只有在询问完美问题时才能有完美答案，但更多时候，人类不知道他们想要什么。"为我的洗车业务制作一个登陆页面"。实现这个目标有多少种可能的方式？几乎无限。AI在模糊性和不确定性中闪耀，这恰恰得益于其涌现特性。如果你需要知道1+1等于几，你应该使用计算器，但了解你最新的血液检查结果对你的健康意味着什么需要细致入微。
这就是为什么在构建人机界面时，最好的形式因素是概率分布（"你可能想要这个带有英雄横幅的HTML"，"你可能维生素D缺乏，应该多接触草地"）。这是一种自然能处理细微差别的形状。
这就是为什么我们向输出注入随机性并在推理时采样的关键原因：用完全相同的输入提示产品，将产生两个不同的结果，使输出具有随机性。这是该技术的基本属性，也是它如此有效的原因，因为它为用户提供了高效导航复杂问题空间的方式。它允许他们将自己的品味添加到最终输出中，并根据自己的判断导航所有合理输出的概率分布。
这是使用Claude 3.7的两个相同提示的结果：
一开始可能感觉很微妙，但经过一系列构成漫长轨迹的链式生成，差异会大大放大。
输出随机性和涌现行为是我们不能期望AI具有完美可靠性的原因，不是传统意义上的。我们不再保证x将是什么，我们也不再确定输出y，因为它现在是从分布中提取的。
在转向AI优先的世界时，我们从漏斗过渡到无限领域。
停下来一会儿，意识到这意味着什么。在构建这项技术之上，我们的产品现在可以以我们甚至从未想象过的方式成功，也可以以我们从未打算的方式失败。
这对现代技术来说是极其新的，对人类工具制造本身也是如此。任何优秀的工程师都会知道互联网是如何工作的：我们设计了它！我们知道数据包如何移动，即使在故障连接等不确定环境中，我们也知道字节如何表现。任何优秀的航空航天工程师都会告诉你如何用宇宙飞船接近月球：我们发明了它们！知识是完美的，是工程学科的基石。如果有错误，总有一个可知的原因：只是找到并修复它的时间问题。
对于AI产品，所有这些都不再是真的。**这些模型是被发现的，而不是工程化的。**关于它们存在一些深刻的不可知性，既强大又可怕。甚至模型制作者在训练它们时也不完全知道它们的创造物能做什么。这就是为什么"氛围"如此贴切：面对这种固有的不确定性，我们在判断这些模型真正能力时只能相信自己的直觉和直觉。
对于与利用这些模型力量的产品交互的人来说，这需要接受、接受并培养直觉。用户真的不喜欢处理AI系统固有的不确定性。他们不习惯！他们期望像他们知道的每个其他产品一样的数字产品：你指示应用程序执行一个操作，应用程序就会执行它。不幸的是，以错误的方式提示Replit很可能会在你的工作中引入错误，这取决于你的请求和它映射到的概率分布。消费者真的很难理解这一点：当AI没有做他们期望的事情时，他们非常生气。
他们如此沮丧的核心原因是在数字时代，边际成本第一次远远大于零。事实上，它们如此之大，以至于完全推翻了自90年代以来主导互联网的商业模式和增长剧本。这在未来可能会改变，取决于硬件层面的创新和商品化，但目前智能成本出人意料地稳定（并且并不像我们直到去年预期的那样通货紧缩）。
我们有一类具有确定性成本和随机输出的产品：一种内置的未解决的张力。用户以确定性投入硬币，但将不确定是否他们会得到他们期望的东西。确定性心理模型和概率现实之间的这种根本性不匹配产生挫败感——行业尚未学会弥合的差距。
软件曾经是提供一组预定义选项供选择的魔法黑匣子，并以几乎零边际成本产生预定结果。AI模型是完全不同的实体：它们接受一个具有无限可能性的领域，并在向用户收取非常可观的费用后产生概率分布，这些分布可能折叠为意外观察。
很明显，围绕这两种技术生产产品的方式需要彻底不同。
3、需要科学家
要在量子时代蓬勃发展，成功的组织需要从工程转向经验主义。
老派工程领导在处理概率软件时的倾向是在其上附加可靠性指标。像以前一样的好SLO。这是肌肉记忆，一种反射。但它创造了扭曲的激励：为了实现100%的可靠性目标，经典工程领导自然开始在模型周围添加越来越多的轨道和约束，试图控制它。
这不再有效。
你越试图控制模型，你就越会削弱它，最终损害产品本身。超过某一点，智能和控制开始成为对立的需求。
目标不是完美：根据定义，你不能也不应该以它为目标。目标是管理不确定性。作为AI产品构建者，你应该确定可接受的不可预测性是什么，使模型能够处理复杂性，给定你运营的市场和服务的受众。考虑最低可行智能（Minimum Viable Intelligence）：市场接受的最低质量阈值（有些人可能比其他人更敏感），同时保留其固有的灵活性和泛化能力。
最低可行智能的概念源于这些模型的涌现特性。构建AI产品的公司可能不知道他们的产品实际有多强大，并且在试图保持其轨道时可能无意中过度约束模型。想想如果用户要求Claude Code为文件夹中的每个图像添加水印会得到"抱歉我帮不了这个：我只能制作网站"会有多令人沮丧。因为我们知道它可以！如果你保持健康的平衡，你的产品可能比你最初设想的要大得多，这要归功于模型能够做到的甚至我们都不知道的令人惊讶的事情。
这就是迫使从工程转向经验主义的原因：决定构建产品本身的正确方式，而不仅仅是典型的产品管理A/B测试，现在是科学方法。
需要科学家来构建AI产品。
总是逐步在现有基础上构建的古老智慧不再适用。如果有的话，那也是有害的。每次新模型出现，无论是现有模型的新一代（比如从Sonnet到Opus），还是全新的（比如用Gemini替换GPT），所有关于其行为的先前假设都应该被忽视。
事实上，当新模型出现时，你甚至应该考虑拆除整个系统，并从头开始重建。没有神圣的牛。
当Replit从Sonnet 3.5移动到3.7时，Replit的总裁Michele让公司在不到3周的时间内重写了整个产品。我们称之为Replit v2，但那相当轻描淡写。实际上，这是一个全新的产品。架构、数据模型、提示技术、上下文管理、流设计……都是新的。3.7以一种全新的方式高度智能，Michele理解它，并决定拥抱它而不是试图控制它。团队不得不经历几周的不眠之夜，试图击败竞争对手成功地将其推向市场。你能想象完全重新架构一个当时收入接近2000万美元ARR的产品，仅在三周内从头开始重建，并看到其收入转折并在不到一个季度后增长到1亿美元ARR需要什么吗？需要科学家。巧合的是，Michele确实是一位科学家出身。
在应用层交换模型是一件大事——这使得前沿实验室比它们从外部看起来更有粘性。它不仅仅是"一个API商品"。这些模型不是平坦的接口：它们有个性和怪癖。这就是为什么Gemini Pro 2.5不是Claude 3.5杀手，尽管它仍然是一个非常出色的模型。需要艰苦的工作才能完全证明任何给定模型优于任何其他模型。
每次模型更新不一定意味着每次都完全重写，但它确实迫使你每次从根本上重新思考你的假设，使重写成为一个完全合理的假设。你必须遵循经验方法，其中唯一有效的假设是"我不知道"。首先作为经验主义者与首先作为工程师是截然相反的。
即使在同一基础模型上的"简单"改进也需要专门的数据工作。任何发布的功能都需要在实验室条件下使用合成评估和生产环境中使用真实世界用例进行测试。测试需要严格而彻底：它不能仅仅是一组二元的"通过/不通过"。如果某个特定的提示变化显著影响了模型倾向于优先选择某个工具而不是另一个工具，从而积极改变了某些用户群体的经济单位怎么办？如果某个特定的设计变化影响了用户对输入分布的思考方式，进而以不可预见的方式塑造模型输出分布怎么办？
在测试看似原子的软件改进时对统计的需求违背了经典程序员的直觉。许多工程师认为这种艰巨的数据工作不是工作描述的一部分，他们可能是对的！
工作描述已经改变了。
4、数据是新的操作系统
尽管模型行为本质上是不可知和不确定的，但围绕它构建有效的数据功能极其困难。模型的涌现特性使合成测试变得难以捉摸。
工程师需要保持评估数据集与实际用户行为分布的更新，但根据定义，这样的数据集将不断滞后。由于输入空间不再有限，你不能简单地写几个选定的测试并遵循测试驱动开发：你可能会在不知道其存在的情况下破坏关键功能。调整提示或为Replit交换基础模型意味着解锁我们最初从未想到的潜在功能，比如游戏开发。建立一个良好的系统来不断从现实世界过去的用例中采样正确的测试用例，是今天构建出色AI产品所需的最关键新工作之一。
这也是在生产中进行传统A/B测试也很关键的原因：这样你可以确保尽可能接近你服务的总体，并有更高的机会测试长尾结果。然而，生产测试可能比评估测试更困难。
真实世界实时A/B测试的问题在于它假设你首先知道要优化什么。它意味着知道和量化成功的定义。在AI产品中，你基本上做不到。
用户正在探索可能性领域，通过空间组合轨迹导航：很难理解你的产品是否正在实现其设定的目标！假设你刚刚为Replit代理发布了一个很棒的新功能：你如何知道用户是否正在制作"更好的软件"？更长的消息链？也许他们只是在沮丧地调试。更短、更高效的消息？也许他们放弃得更快。当然，你可以衡量长期留存，但你不能等待数周（或者更糟的是，数月！）来发布功能。
这就是为什么高速AI发布如此具有挑战性。然而并非不可能。从根本上说，它是关于从传统的增长漏斗转向寻找聚合"用户轨迹"的方式——通过可能的任务和模型状态领域的路径。
最简单的方法是通过细分用户输入。你使用较小的模型将用户请求分类到较大的模型，这允许你将数据分成"使用区域"。这是聚类用户旅程的一种粗糙方式。对于Replit的编码代理，这可能是编码用例："对于所有提交了关于React web应用提示的用户，在3次聊天交互后从用户获得积极消息的可能性是多少？"为了进一步推动，你可以使用相同的方法来定义跨不同路径要达到的里程碑，这可能意味着对模型内部状态进行分类。
这显然影响了产品管理、设计、上市，甚至（特别是！）财务。随着功能变得涌现，二元分析事件不再像以前那样有用，无法理解用户行为。知道通过TikTok获得的用户更有可能构建游戏，这些游戏在每个令牌的基础上更昂贵，因此影响利润率计算，这在整个公司中极其有价值：从确保游戏高效生成的工程师，到将漏斗顶部策略转移到更可持续渠道的营销人员，再到适当细分其CAC和LTV分析的财务团队。从游戏构建用户到专业网络应用的20%转变可能意味着可持续单位经济和在每个免费用户上亏损之间的区别——然而这种洞察力只能通过分析AI交互的实际内容而不是传统漏斗指标来获得。这就是为什么分类状态如此重要。
一切都归结于数据。价值由模型生成，数据存在于模型的上游和下游。我们有多年的上游数据（用于训练）文献，行业敏锐地意识到其重要性。但下游数据是新的，因为我们在全球范围内只有几年的真正涌现。这种规模使得问题昂贵、困难、复杂，并需要大量数据工程。构建AI产品不是小事，是一门日益复杂的跨学科技艺。
在随机不可预测行为的时代，数据在决定企业成功方面正成为关键的差异化因素。它是整个组织的共享操作系统：一种可以描述现实并规定行动以塑造它的共享语言和上下文。
科技公司的核心组件都不能再孤立地工作。像客户归因（在营销、销售中）、可观察性（工程中）和A/B测试（产品、设计中）过去是分开的。在AI产品中，它们崩溃为一个整体系统视图，其中产品的核心行为既影响漏斗顶部也影响底线，从转化到留存。
只有数据才能提供理解这个新的、未知的函数F'的地图，并描述用户在探索和徘徊于AI产品涌现特性时所经历的旅程。只有数据才能告知他们要去哪里，他们是否成功到达目的地，他们是否能够负担到达那里。
数据不仅仅是训练AI模型的新石油。
它也是我们真正能够利用其力量的方式。
5、这次不同
经过几十年的技术创新，世界已经（理所当然地）对技术炒作产生了一些抗体。主流受众自然对"世界正在改变"的大胆宣称持怀疑态度。现在甚至有一个流行的梗："什么都没发生"。
我强烈相信，当涉及到AI时，确实有事情发生。这次确实感觉不同。
这是本体论上不同的。我们正在远离确定性机械论，一个完美信息和完美知识的世界，走向一个由涌现未知行为构成的世界，在那里我们观察和假设而不是规划和工程。
转变是真实的，它影响了科技行业的每个部分，改变了我们如何制造产品，我们如何研究和设计它们，以及我们如何围绕它们组织工作。使用经验方法构建、用概率思考并衡量复杂轨迹的组织将定义技术的下一个时代。其他人将试图将波函数挤压到电子表格中，想知道为什么他们完美的确定性仪表板无法捕捉到使其产品神奇的东西。
这是一个新世界，一个充满奇迹和可能性的世界，一个需要发现和理解的世界。
欢迎来到概率时代。
原文链接：Building AI Products In The Probabilistic Era
汇智网翻译整理，转载请标明出处
