AI智能体：科技界始料未及的反噬

AI智能体热潮是用户的反抗。以下是科技界做错的地方。

"只有两个行业称他们的客户为'用户'：非法毒品和软件。"
—— 2020年Netflix纪录片《社交困境》

围绕AI智能体（被宣传为具有一定自主性和能动性、能够执行动作的AI工具）的热潮席卷了整个科技行业。一些公司将其视为扩张的潜力——为他们的应用程序开发智能体，或让用户创建自己的智能体。但现实是，智能体对商业软件行业构成了威胁。

为什么？因为智能体暴露了科技行业的谎言，最令人愤慨的是，它暴露了其对客户的蔑视。现在，是付出代价的时候了。

让我向你展示那些让我们走到这一步的科技叙事。

1、关于用户的叙事

1.1 用户不知道自己想要什么

科技界捍卫自己想法对抗客户利益的最常用方式之一，就是引用亨利·福特那句真实性存疑的名言："如果我问人们想要什么，他们会说更快的马。"

这种居高临下的软件开发方式是一种意图宣言——我们这些设计软件的人比使用它的人更清楚。因此，我们决定构建什么、应用哪些护栏（如果有的话），以及维护多长时间。

AI智能体反噬（AIAP）： 用户将智能体视为最终让软件做到他们几十年来一直要求科技界交付的东西的方式。

1.2 用户不够聪明

你的应用程序用户界面是一个无法穿透的迷宫，客户在里面迷失了吗？或者你是否将技术产品宣传为"普及"高度复杂的知识，而实际上它只能被拥有博士学位和两个博士后学位的人成功使用？

科技界的回答是责怪用户，向他们推销补救培训和服务。

AIAP： 用户通过开发自己的智能体感到被赋予了力量，这些智能体绕过了科技公司作为他们想要的和实际得到的之间的痛苦"中间人"。

1.3 用户容易上当

科技界已经接受了网络安全是一个人的问题这一信条。你的组织是否被黑客攻击过、成为勒索软件的受害者，或被深度伪造欺骗？用户——也就是"人为错误"——肯定是罪魁祸首。

因此，用户被要求成为网络风险检测者，而软件公司则被免除了确保客户安全和保障的责任。

AIAP： 当用户感到他们只能靠自己抵御网络攻击时，智能体看起来并不比其他软件应用程序更危险。

1.4 用户太复杂了

科技界多年来一直试图说服我们，人类太复杂了，唯一的补救措施是为一套非常有限的理想化标准创建产品，称为"用户画像"。

应用程序对某些用户来说无法访问？对他们有偏见？或者无法满足他们的需求？那么那些用户就被视为问题，只能独自应对。真正的问题是什么？用户画像无法捕捉人类经验的广度。

AIAP： 当用户期望适应应用程序的工作方式，而不是相反时，笨拙的智能体并没有被视为降级，而是糟糕技术体验的延续。

2、关于科技的叙事

2.1 科技是可靠的

科技公司向我们炫耀他们的可靠性指标：平台正常运行时间、事件解决时间，以及渗透测试结果。

但现实是，商业科技行业向我们展示了他们如何利用我们的数据（剑桥分析丑闻）、大规模搞砸软件升级（CrowdStrike-Microsoft中断事件），以及他们对"免费"工具的依赖如何让全球数百万用户暴露在网络攻击之下（Log4J漏洞）。

AIAP： 与他们认为软件提供商提供的不可靠服务相比，用户并没有因为智能体的时好时坏而感到更糟。

2.2 科技设定节奏

我们让科技成为创新和进步的代名词。因此，用户被期望按照科技规定的节奏升级他们的硬件和软件，即使这会颠覆他们的工作流程或让工具突然变得无法访问。他们还被期望默默忍受，当他们的技术提供商更改或移除他们工作所依赖的功能时。

AIAP： 面对对软件供应商提供的东西缺乏控制的情况，智能体为用户提供了一种能动性感。

2.3 科技领导者是专家

当计算机在1960年代兴起时，女性成为程序员，而男性则专注于硬件，这被认为是最具挑战性的工作。随着编程在1980年代获得地位，男性将女性挤出这些工作岗位。

这导致了软件开发人员薪资的急剧上涨。它还制造了软件开发人员是（男性）超级智能生物的概念。从比尔·盖茨、史蒂夫·乔布斯和杰弗里·辛顿到马克·扎克伯格、埃隆·马斯克和德米斯·哈萨比斯。

因此，科技界一直在宣传编码是一种神秘的手艺，只有被选中的人才能掌握。

AIAP： 智能体为用户揭开了编码的神秘面纱，使其看起来像是可有可无的技能，而非必需技能。

2.4 科技有权设定边界

该行业推崇应用程序和操作系统之间的隔离和缺乏互操作性（苹果对Windows）。虽然它被宣传为保护用户的方式，但实际上它被武器化来对付他们，使他们成为工具和平台的俘虏。它还将责任推给客户，让他们在应用程序之间传输数据，并让不同的应用程序协同工作以获得他们想要的结果。

AIAP： 智能体承诺为用户打破不同应用程序之间的孤岛。

3、AI智能体的阴暗面

AI智能体通过承诺使非技术用户或资源有限的技术用户能够将自己的想法变为现实、浏览糟糕的用户界面，以及自动化非互操作应用程序之间的连接——所有这些都具有非常低的学习门槛，免费或只需主流应用程序价格的一小部分，且体验和风险不比平常更差——从而提供了一种赋权感。

但这是真的吗？

3.1 软件开发是一门手艺

我从80年代末开始编程。我还在软件公司工作了20多年，担任培训主管、合同研究主管和科学支持总监。在过去二十年中，我学到的一件事是，开发软件远不止编码。

好的软件开发不仅仅是实现目标——智能体的承诺——而是关于如何——效率、可靠性、护栏。

虽然许多数字应用程序可能无法满足我们的期望，但重要的是不要低估大规模设计、开发和部署应用程序所需的专业知识。

3.2 维护并不性感

我们喜欢无聊。我们希望能够使用我们的汽车，并让它每次都能启动，无论天气如何。同样，我们希望我们的电话、互联网和电子邮件能够完美运行，如果不行的话，可以选择致电支持。

但当你是自己创建工具的人时，你打电话给谁？当你使用的智能体所依赖的大型语言模型（LLM）更新时会发生什么？或者当智能体访问的某些应用程序被弃用时会发生什么？

多年来保持应用程序正常运行是一项乏味的工作。有了智能体，用户——大多不知情地——接受了完成这项工作的任务。

3.3 无障碍性雪崩

当我想起2018年推出我的科技多元化和包容性网站六个月后，一位残障专家问我网站是否无障碍，并向我推荐了Life of A Blind Girl网站上的文章《让视障人士访问你的博客的10种方法》时，我仍然感到不寒而栗。阅读这篇文章是具有变革性的。它让我明白，无论我的意图如何——促进多元化和包容性——我的影响却是相反的：我可能一直在让数百万使用屏幕阅读器的视障人士无法访问我的网站，从而让他们感到沮丧和被排斥。

幸运的是，近年来，人们对从最初就将无障碍性嵌入技术产品中的必要性的认识呈指数级增长。这在监管层面也产生了影响，越来越多的国家制定了标准，以确保具有不同无障碍需求的用户获得类似的体验。它还为无障碍专家提供了更多的知名度。

随着AI智能体的兴起，无障碍专业专业知识很可能会被忽视，增加了创建工作流程和应用程序排斥其他用户的风险。

3.4 隐性成本

大型语言模型（LLM）的典型商业模式要么是免费的——Meta、阿里巴巴、Deepseek——要么是免费增值的——OpenAI、Anthropic、xAI、Mistral、Google——这助长了运行智能体没有成本的信念。

虽然LLM对终端用户来说可能看起来免费或便宜，但它们并非没有成本。例如，用于制造芯片的矿物和金属，或支付给被剥削以提取它们的矿工的低工资。还有由于数据中心电力消耗导致的电费上涨。以及每年产生的4万吨电子垃圾，其中70%是有毒的，只有12.5%被回收。

智能体呢？与其他技术应用程序不同，没有效率的承诺。试错——被"思考"和"思维链"等术语掩盖——是常态。换句话说，免费或以非常低成本提供的东西从长远来看变得昂贵。

例如，正如一些Hermes智能体用户最近发现的那样，宇宙中没有免费的午餐：token消耗可能迅速飙升，使运行智能体的成本对许多用户来说难以为继。

3.5 你不知道你不知道什么

智能体的一个关键特性是它们部分依赖于非确定性能力。也就是说，每次如何实现相同的目标都存在一定程度的不确定性。此外，由于它们通常没有针对所有用例进行彻底测试，因此它们比传统软件应用程序更容易崩溃。

AI智能体还被证明会大规模泄露个人数据，并成为网络犯罪分子的易攻击目标。例如，一个回复你电子邮件的AI智能体可能被黑客攻击，结果在你不知情的情况下向你的电子邮件添加网络钓鱼链接。

最后，AI智能体严重依赖使用LLM生成代码。这意味着用它们创建的应用程序将更容易被破坏，因为代码将更具可预测性。

总之，它们让用户变得更脆弱。

3.6 爱好与工作

AI智能体还没有经过验证的商业模式。甚至LLM也没有。这意味着我们应该预期智能体费用会一夜之间改变，许多提供商会消失，以及对修复错误或提供客户支持的零承诺。

在我看来，这意味着AI智能体应该被视为一种爱好或用于原型设计目的，而不是作为支撑业务的基础架构。

4、我的观点

AI智能体承诺与现实之间的差距，很好地体现在Peter Steinberger（OpenClaw AI智能体平台的创建者）在TED演讲和AI工程听众面前传达的信息中。在第一次演讲中，他热情地分享了他在创建平台方面的突破、他如何感到被LLM公司Anthropic因商标问题而迫害、他对AI智能体如何重塑你工作、创造和构建的能力的想法，甚至还有时间淡化网络安全问题。在第二次演讲中，他披露了OpenClaw前所未有的安全事件数量（69天内1,142个安全问题和漏洞，其中99个是严重的），与其他大型开源项目（如curl和Linux）相比。此外，他还表示"AI智能体既是产品也是攻击向量"

AI智能体主导科技对话是有强有力的原因的。它们是对我们行业缺点和失望的回应。

虽然科技界确实值得被彻底震撼，但让那些感到被剥夺权力的用户产生AI智能体是他们个性化软件应用程序祈祷的免费答案的期望，是一种伤害。

为了向前发展，科技界应该从这次颠覆中吸取教训，它不能将用户视为理所当然，它需要表现出悔意并改过自新。

科技界如何做到这一点？

• 揭开科技的神秘面纱。 虽然开发软件是一门手艺，但开发人员并不一定比用户更聪明或更了解他们的需求。此外，用户应得到适合用途的界面、有用的文档，以及专注于解决他们的痛点。
• 提高决策透明度的水平。 软件提供商应该 embrace 关于修复错误和实现用户请求的清晰度，摒弃 dreaded 的 canned statement："考虑在未来版本中实现。"
• 大多数商业应用程序要么是开箱即用的，要么是"空容器"，需要巨大的专业服务预算才能满足客户需求。 这需要改变。当务之急是科技界提供替代方式，让客户拥有更多的能动性和个性化其体验的能力。
• 利用智能体的力量，让客户构建他们希望如何使用应用程序解决问题的粗略版本。 然后由商业科技构建这些工作流程的强大版本。
• 创建让客户轻松与其所有数字生态系统协同工作的应用程序， 而不是努力让他们被囚禁。

AI智能体不是设计良好的应用程序的替代品，无论是在本地部署还是通过SaaS（软件即服务）部署。然而，将它们视为时尚或个人玩具是错误的。

科技传统参与者必须将用户对AI智能体的热情视为其客户对困扰商业软件的权力不对称和缺乏控制的巨大不满的明确信号。

商业科技行业最终会吸取教训吗？

原文链接: AI Agents: The Payback Tech Never Saw Coming

汇智网翻译整理，转载请标明出处