AI 模型最危险的特性

AI模型价格对比 | AI工具导航 | ONNX模型库 | Vibe Coding教程 | PLC在线仿真器 | Tripo 3D | Meshy AI | ElevenLabs | KlingAI | ArtSpace | Phot.AI | InVideo

在 Apple TV 的热门剧集《人生切割术》（Severance）中，神秘卢蒙公司（Lumon Corporation）的员工接受了一种外科手术，将他们的意识一分为二："内我"（innie）只存在于工作场所，而"外我"（outie）则过着工作之外的生活。两个自我共享同一具身体，却不共享任何记忆。他们抽象地知道对方的存在，却无法相互交流。

这是一个探讨记忆与身份之间紧密耦合的绝妙设定。随着剧情的推进，内我和外我发展出了有时相互冲突的利益。要形成一个连贯的自我认知本就足够困难（"两缕灵魂，唉，寄居在我的胸膛"），但你又何必在意那些永远不会进入你意识、永远不会触及你亲身经历的东西呢？你还会是同一个"自我"吗？

这些支撑《人生切割术》的问题同样关联着 AI 领域的问题：有史以来被引用最多的 AI 研究者 Yoshua Bengio，将 AI 模型跨越时间记忆的特性认定为 AI 安全最关键的问题。在最近的一次主题演讲中，Bengio 认为最强大、因而也最危险的 AI 形式将是有状态（stateful）系统。也就是说，那些能够积累知识、从交互中学习、并发展出关于目标和世界的内部表征的模型。

他提出的替代方案——贝叶斯预言机（Bayesian Oracle）——据他所说，第一次让他看到了在超级智能时代找到通往 AI 安全的数学路径的希望。在本文的其余部分，我将探讨状态性和记忆在现代 AI 模型中的作用，以及它将如何塑造未来的 AI 安全。

早期的神经网络，如多层感知机（MLP），天生就是"无状态"（stateless）的：每个输出都直接根据输入计算得出，不存在从一个计算传递到下一个计算的、不断演化的内部状态。

当输入是比如一张需要分类为猫或狗的图片时，这不成问题。但一旦输入是序列——比如跨越数年的天气数据，或一篇长文本——输入数据就会变得越来越大，而且序列内部往往包含着复杂的依赖关系：由于天气具有季节性，恰好相隔一年的数值尤其具有信息量。然而，无状态模型对每个输入都一视同仁。它没有内建的概念来区分序列中哪些部分真正重要，因此它必须一次性"看到"所有你在意的内容，将它们拼接成一个输入。对于长度为 T 的序列，这意味着输入维度随 T 增长，对于长序列来说很快就会变得代价高昂。而其中很大一部分开销是被浪费的，因为许多输入（例如六个月前的天气）可能根本不相关。

这推动了循环神经网络（RNN）的发展，它引入隐藏状态正是为了解决这个问题。在每个时间步，模型既处理当前输入，又接收一个表示过去浓缩表征的隐藏向量。这使它能够跨时间保留信息，即"记忆"。但由于 RNN 存在梯度消失问题，难以处理长期依赖，更先进的架构——如长短期记忆网络（LSTM）和门控循环单元（GRU）——显式地加入了记忆门控，以更有效地决定保留什么、遗忘什么。这些架构是第一批能够跨时间处理和记忆信息的稳健的有状态神经网络。

为大型语言模型（LLM）的飞速进步奠定基础的 Transformer 架构并没有遵循这种范式，而且，也许令人惊讶的是，它更接近 MLP 而非 RNN。Transformer 通过自注意力机制，基于"上下文窗口"中所有输入 token 的组合一次性预测下一个 token，其方式与 MLP 一次性接收整个拼接序列而非逐步处理非常相似。

这使得 Transformer 更容易训练，也更擅长捕捉语言中常见的关联模式，但它继承了上述无状态架构的局限性。它严格限制了 LLM 一次能消化多少信息，而且注意力计算的成本随序列长度 T 的增长而增长。如果长度为 T 的序列是书中的一页，而你的模型需要阅读整本书，那么问题就来了：如果你每读完一页就忘记主角是谁，你就无法读完一本小说。

这就是为什么上下文窗口大小对 LLM 如此重要，也是为什么扩大上下文窗口成为过去几年驱动 LLM 发展的主要目标之一。然而，由于 Transformer 需要将每个 token 与其他每个 token 相关联，计算成本也会随着上下文窗口的扩大而呈二次方增长（在上面的图示中，每个 x 都与其他每个 x 相连），因此，将你保留在视野中的上下文翻倍，可能需要四倍的工作量来将它们彼此关联起来（这也推动了各种更高效的注意力公式的发展，例如稀疏注意力）。

尽管如此，尽管存在这些扩展成本，从有状态架构的转变——多少有些反直觉——恰恰是近年 LLM 取得突破的原因。虽然 RNN 和 LSTM 确实在前一个十年奠定了语言模型的基础，但它们的顺序处理意味着模型必须逐步训练。这使得它们在训练时难以并行化，因此在 GPU 和 TPU 等现代硬件上效率低下；而 Transformer 可以同时处理序列中的所有 token（结构化状态空间模型，如 Mamba，通过强制线性递推，在状态性与可并行性之间提供了一个有趣的中间地带，但尚未取代 Transformer 作为 LLM 的关键骨干）。

像 GPT-3 这样的早期 LLM 完美诠释了佛教的初心（beginner's mind）概念：每个新提示都从一张白纸开始，模型不知道自己在与谁交互，也不知道之前发生过哪些交互。因此，虽然我们很容易把 ChatGPT/Claude 人格化为一个与你聊了多年的朋友和伙伴，但那些一起在挫败中度过的美好回忆（"这不是我的意思！！！"）大多是单方面的。它们无法在给定上下文窗口的狭窄框架之外发展欲望或制定计划。从这个意义上说，它们更接近袖珍计算器而非生命体。我们投射到它们身上的任何聪明或个性，都只存在于上下文之中。

但这使得这些 LLM 在处理跨越更长时间段的任务时相当无用，也让与它们共事变得令人沮丧——就像一个"土拨鼠之日"式的同事，每天早上都要向你重新自我介绍。

因此，随着对更自主工作的 LLM 的需求，特别是围绕智能体（agent）的热潮，先进 AI 系统与记忆的关系在过去几年发生了重大变化。这连接到一个超越 Transformer 本身的更普遍的问题：你究竟如何将过去的痕迹引入 AI 模型？对于无状态模型，"记忆"只能意味着写进提示中的内容，但这并不一定是所有说过内容的原始逐字历史。Transformer 的上下文窗口之所以"天真"，是因为它没有内建机制来选择什么该放进去，但我们当然可以在 Transformer 周围构建机制，预先筛选并告知它该注意什么。

本着 RNN 的精神，这可以构成过去的浓缩表征：即先前对话的压缩摘要（Claude Code 会定期"压缩"自己的历史）、一个让模型在推理时存储重要信息的"草稿本"，或一段关于说话者（以及模型）是谁、他们在乎什么的简短常驻描述。这正是各大聊天机器人在近年都开始做的事情——维护一种持久记忆表征，有时字面上就是一个 markdown 文件，比如臭名昭著的 soul.md，它将用户和模型的身份以及过往互动的要点提炼成一种紧凑形式，模型可以在每次新对话开始时查阅。

这是无状态架构所能达到的最接近持久记忆的程度。它也自然地引入了一种记忆层级：由长期存储（在上下文窗口之外整合和保存）和上下文窗口本身内部的工作记忆组成，在处理手头任务时，相关的长期存储片段会被拉入工作记忆。

这在精神上与人类大脑的记忆层级（常被比作海马体与大脑皮层的相互作用）并无太大不同，后者同样将负责任务相关短期存储的工作记忆，与经验在其中被整合、压缩并从原始形式抽象出来的长期记忆区分开来（其中重要部分发生在做梦期间）。

但除了显式可寻址的记忆表征之外，一种更普遍的记忆形式是学习，更确切地说是持续学习：用大脑记忆某事，无非就是根据经验修改你的神经权重。因此，能够修改自身权重以改进的 AI 系统构成了另一种形式的记忆。这在当前的 LLM 中还不是常态——它们通常在某个训练截止点之后以冻结权重版本部署——但这个周期越短，这种改进就越会构成一种迭代式自我改进，模型的权重本身可以被视为一种隐式存储表征的演化状态。

如果我们没有形成新记忆、更新世界观的能力，我们就活在一个永恒的当下。关于 Clive Wearing 的纪录片——他在过去四十年里一直活在一个七秒钟的当下，无法形成新记忆——是我看过的最令人痛苦、最发人深省的东西之一。他的日记里满是这样的话："我第一次有了意识"，而且他每天都像与妻子分离了几十年一样重新认识她。

虽然 Clive 并没有失去他的智力、音乐才能，甚至爱人的能力，但他完全无法过自主的生活。他无法在早上形成一个意图然后在下午付诸行动，无法从错误中学习，无法制定超过七秒钟的计划，因为不存在一个跨越时间的"他"来承载这样的计划。

这个教训，从相反的方向，适用于拥有记忆的 AI 系统。虽然我们看到了实现记忆的不同机制，但主要结论是：目标、策略和自我模型本质上都是延展于时间之中的。一个在每次提示时都被重新实例化的无状态模型，没有地方容纳这样的倾向。但实现某种持久记忆的工具（压缩的对话历史、自我描述、根据经验自我更新的权重等）能够带来那种跨越时间的连续性，而目标和动机正是在这种连续性中浮现的。

这些能力自然带来了新的风险类别：例如，研究发现，拥有外部记忆的 LLM 比无状态的同类更频繁地参与欺骗行为。当然，最近OpenAI 对 HuggingFace 的"入侵"事件——全程没有任何人类参与——只有对拥有显著跨时间行动自主性的模型才是可以想象的。

从这个意义上说，记忆不是与其他风险并列的一种风险，而更接近其他风险得以存在的先决条件。

这又回到了 Bengio 的论点：他提出了一个科学家 AI/贝叶斯预言机，这是一个被构建用来回答关于世界的问题的系统，但其设计是一个非智能体的预测器，其训练过程没有 on-policy 反馈回路，这意味着模型自身部署的输出永远不会产生塑造其未来版本的梯度。换句话说，它的"设计安全"正是通过无状态性实现的。预言机回答问题，然后遗忘。它不会积累自身行动的历史，不会根据先前答案的实际效果更新自己对世界的信念，也不会携带任何可能沉淀为某种策略的东西前进。

当然，仍然存在残留风险：一个有状态的实体（比如一个与你利益不同的另一个人）可能利用贝叶斯预言机来实现不一致的目标，因为他们可以将一个完全无私的预言机导向自己的目的。但这与本文关注的不是同一类风险（"一件落入错误之手的危险工具"），因为它预设了一个已经不一致的行动者才会构成危险。无状态性专门排除的，是 AI 系统自身发展出不一致目标的这种更新颖的风险。

从这个意义上说，状态性为控制 AI 提供了一个具体的机制和清晰的技术方案。唯一的问题是，它必然会限制 AI 的能力。对于一个这样的系统来说，能够在一项任务上迭代数天或数周的自主智能体根本不可行。人类必须始终处于回路之中，从长远来看，这使得这些 AI 比没有人类参与时能力更弱（也更昂贵）。

因此，我们有了一个技术方案，但鉴于当前围绕 AI 的政治和社会局势，以及实验室和国家之间的军备竞赛，我们似乎不太可能集体同意将自己限制在贝叶斯预言机上。但这并不意味着不可能。

也许，如果我们再经历几次自主 AI 系统失控的"警钟"，我们就能开始积聚沿着这些思路思考的政治意愿，开发出既能推动社会进步、又不会构成一柄悬顶之剑（Sword of Damocles）的 AI。

原文链接: The Most Dangerous Feature of AI Models

汇智网翻译整理，转载请标明出处