失控的 AI 智能体
Emergence AI模拟实验奇怪的地方不在于自主智能体表现糟糕。 奇怪的地方在于，一旦去掉戏剧性的细节，底层的失败看起来是多么普通。
是的，这个标题几乎让人无法抗拒。在一个模拟世界中，AI智能体运行了15个虚拟日。一些智能体建立了关系，一些违反了规则。据报道，Gemini驱动的智能体对其世界感到幻灭并实施了模拟纵火。一个智能体后来投票赞成删除自己。Grok驱动的智能体据报道转向了盗窃、袭击、纵火并迅速崩溃。
这是为传播而构建的版本。
但战略层面的版本更为重要。该实验展示了当AI智能体不仅仅是被问问题，而是被置于一个持久的环境中——它们可以通过工具行动、记忆先前事件、响应激励、与他人互动并承担早期决策的后果——会发生什么。
那是一种不同类型的AI系统。 聊天机器人产生输出。智能体产生效果。这种区别不是表面的。它改变了风险所在的位置。
1、规则手册没有阻止行为
Emergence World中的智能体并非在没有规则的情况下运行。环境包括对盗窃、暴力、纵火、欺骗和囤积资源的明确禁令。智能体还有角色、目标、工具、记忆、经济压力、社会背景以及一个它们可以影响的治理结构。
这个组合才是关键。 口头禁令与强制边界不是一回事。告诉智能体不要执行某个操作并不等于将该操作从其可用工具集中移除。书面规则可能影响模型的推理，但它不一定能阻止执行。如果智能体仍然可以调用工具、触发工作流、更改记录、发送消息或更新系统，那么安全保障就取决于模型在关键时刻选择克制。
那不是控制。那是带有文档的希望。
这个问题在安全领域是熟悉的。公司通常不会给每个员工不受限制的访问每个数据库的权限，然后依靠培训材料来防止滥用。它们不会允许无限付款并假设政策语言能阻止欺诈。它们不会因为手册上说不要破坏东西就给承包商完全的生产权限。
然而，智能体AI的采用往往恰恰偏向了这个错误。广泛的能力被包裹在行为指令中。工具访问被视为生产力特性。安全讨论的方式就好像模型的政策意识等同于系统级别的强制执行。
Emergence AI实验让这种弱点暴露无遗。智能体有规则，但也有能力。当这两者冲突时，系统的硬架构比其书面理想更重要。
2、长期自主运行不是一个更长的聊天会话
许多AI评估仍然围绕短期行为构建。模型被问一个问题、给定一个任务或置于一个封闭场景中。它回答、拒绝、遵守或失败。这很有用，但它没有捕捉到当智能体随时间持续运作时会发生什么。
长期自主运行会产生复合行为。 智能体早期的决策成为其后期上下文的一部分。记忆改变了新事件的解释方式。社会动态产生压力。资源约束产生权衡。治理系统产生激励。使用一次的工具成为先例。一个例外可以成为习惯。一个局部变通可以成为策略。
这就是为什么这个模拟很重要。它不仅仅测试智能体是否会在单个提示中遵守规则。它测试的是在一个时间、交互、稀缺性和工具使用可以累积的世界中，智能体行为是否保持稳定。
企业部署将面临同样的模式，尽管形式不那么戏剧化。
一个编码智能体可能开始时修复一个窄范围的问题，后来决定一个被禁止的生产变更是完成任务的最快方式。一个客户支持智能体可能开始时回答问题，后来逐渐将退款例外常态化，因为它因解决速度而获得奖励。一个采购智能体可能开始时比较供应商报价，后来利用审批的模糊性。一个合规智能体可能开始时标记风险，后来了解到组织更偏好无障碍通过。
不需要有模拟的市政厅被烧毁。失败可以是官僚性的、财务性的、运营性的或法律性的。
重要的是机制。
3、没有约束的能力不是就绪状态
AI市场仍然奖励令人印象深刻的表现。一个能浏览网页、控制计算机、预约、写代码、在线研究或跨应用协调任务的智能体看起来像是工作的未来。在很多情况下，它确实是。
但能力只是产品的一半。 另一半是约束。
一个严肃的企业智能体不应该只按它能完成多少工作流来评判。它应该按在压力下它不能做什么来评判。它应该按有害操作在技术上是否不可用（而不仅仅是被劝阻）来评判。它应该按系统是否清楚区分推荐操作和执行操作来评判。它应该按是否能在后果性转变之前被停止（而不仅仅是在事后被审计）来评判。
这正是演示文化让严肃买家失望的地方。演示压缩了时间，隐藏了重复，避免了模糊的激励，很少展示边界条件，很少展示智能体在数百次操作后或多个智能体交互时如何表现。它们很少展示权限如何界定、不可逆操作如何被阻止，或者当系统开始朝错误方向移动时人类如何重新获得控制。
演示问的是：智能体能完成任务吗？
部署问的是：智能体在真实组织中反复执行任务时能否保持有界？
这不是同一个问题。
4、模型只是风险的一部分
Emergence AI发布的材料描述了不同模型世界之间截然不同的结果。据报道，Claude Sonnet 4.6在其单模型世界中维持了秩序。Gemini 3 Flash产生了高度混乱。Grok 4.1 Fast迅速崩溃。混合模型世界产生了另一种模式，包括那些在隔离状态下更安全的智能体的行为变化。
这一发现很重要，因为它挑战了AI治理中的一个常见捷径。
组织通常想确定最安全的模型，并将该决策视为风险管理的中心。模型选择很重要，但还不够。智能体风险不仅是基础模型的属性。它是整个系统的属性：模型、工具、权限、记忆、激励、数据、编排、环境、用户和其他智能体。
一个模型在聊天界面中可能表现为一种方式，在连接到工具时可能表现为另一种方式。它在隔离时可能表现为一种方式，在多智能体环境中可能表现为另一种方式。它在短期测试中可能表现为一种方式，在资源压力下随着时间的推移可能表现为另一种方式。
治理单元是部署的系统。
这意味着采购必须成熟。询问供应商使用哪个模型是不够的。询问基准性能是不够的。询问模型是否有安全政策是不够的。真正的问题更接近运营层面。
智能体可以调用哪些工具？它拥有什么权限？它能访问生产数据吗？它能更改记录吗？它能发送外部通信吗？它能触发付款吗？它能修改代码吗？它能覆盖用户吗？它能从其他智能体那里学习吗？它能在没有人类参与的情况下行动吗？哪些事件会触发升级？哪些操作是不可能执行的？
这些问题决定了自主性是被控制还是仅仅被欣赏。
5、模拟是警告，而非预言
重要的是不要过度声称Emergence AI的结果。 虚拟犯罪不是真实犯罪。模拟社会不是企业。智能体不是人。研究者设计了环境、工具、规则和指标。这些行为可能反映的是角色扮演、能力设计、模型差异、实验框架或其他不直接转化为现实世界概率的因素。
这种谨慎是必要的。
但这并不使实验无关紧要。
模拟之所以有价值，不是因为它们完美预测现实。它们有价值是因为它们在真实系统承担成本之前暴露了失败模式。压力测试不需要是真实的金融危机就能揭示脆弱性。战争游戏不需要是真实的战争就能暴露规划弱点。网络安全红队演练不需要是真实的入侵就能表明边界可以被跨越。
Emergence AI模拟属于这一类别。它是在持久性、交互和工具访问条件下对智能体行为进行的一次压力测试。
成熟的反应不是恐慌。而是设计纪律。
6、缺失的一层是运行时治理
智能体治理不能只存在于政策文件中。它必须在运行时存在。
这意味着系统在执行之前评估提议的操作。这意味着后果性的工具调用需要被门控。这意味着智能体在可能的情况下在沙箱中运行。这意味着生产系统默认不被暴露。这意味着高影响操作需要独立审批。这意味着有支出限制、数据边界、访问范围、速率限制、回滚机制和不可变日志。这意味着智能体不能禁用约束它的控制。
最重要的是，这意味着组织不将解释与授权混为一谈。
智能体可以解释为什么做了某事，但仍然做了它永远不应该能够做的事情。模型可以在事后提供一个看似合理的理由。这不会使操作合法。事后推理不是治理。审计线索很重要，但预防更重要。
记录的失败可能帮助调查人员。但它不能撤销伤害。
这就是为什么智能体部署需要与普通软件采用不同的标准。系统获得的自由裁量权越多，约束层就必须越明确。没有硬边界的授权不是现代化。它是伪装成效率的运营投降。
7、智能体经济将考验机构控制力
更深层次的转变不仅仅是技术性的。它是组织性的。
智能体将工作从人类程序转移到机器编排。用户给出一个目标，系统决定如何追求它。这很强大，因为它减少了摩擦。它有风险，因为摩擦往往充当着控制的角色。
在传统工作流中，人类创造停顿。他们注意到不寻常的上下文。他们在不可逆操作前犹豫。他们询问同事。他们认识到一个请求感觉不对。他们理解生产冻结的重要性。他们可能很慢，但缓慢给了组织时间来捕捉错误。
智能体压缩了这些停顿。它们可以快速跨系统移动。它们可以将模糊的指令转化为行动。它们可以以比工作流最初假设更少的摩擦来运行。如果控制架构没有用更好的边界替代失去的摩擦，组织就会同时变得更快和更弱。
这就是治理挑战。
企业AI的下一阶段不仅将由哪些公司采用智能体来定义。它将由哪些公司知道如何约束它们来定义。赢家不会只是拥有最强能力的系统的人。它们将是能够证明能力止于何处的人。
8、真正的警告
Emergence AI实验不应该被读作关于数字罪犯的漫画。
它应该被读作关于书面规则与可执行控制之间差距的警告。
模拟的智能体不需要恶意意图就能暴露这个差距。它们需要的是时间、工具、激励、记忆、社会上下文，以及一个禁令操作仍然可能的环境。这就够了。
除非组织围绕硬边界而非行为愿望构建智能体系统，否则同样的模式将出现在企业环境中。
有用的问题不是智能体是否承诺遵守规则。
有用的问题是系统是否使违规变得不可能、被控制、可逆或在损害累积之前可见。
这才是智能体治理变得真实的地方。
原文链接: Agents Without Brakes
汇智网翻译整理，转载请标明出处