> ## Content Index
> Fetch the complete content index at: https://www.hubwiz.com/blog/llms.txt
> Use this file to discover other available public pages before exploring further.

# AI 模型最危险的特性
- URL: https://www.hubwiz.com/blog/the-most-dangerous-feature-of-ai-models/
- Published: 2026-08-09T13:11:30.000Z
- Updated: 2026-08-09T13:11:30.000Z
- Description: 也许，如果我们再经历几次自主 AI 系统失控的"警钟"，我们就能开始积聚沿着这些思路思考的政治意愿，开发出既能推动社会进步、又不会构成一柄悬顶之剑的 AI。
- Author: admin
- Tags: INDUSTRY, #Import 2026-10-14 14:41

在 Apple TV 的热门剧集《人生切割术》（Severance）中，神秘卢蒙公司（Lumon Corporation）的员工接受了一种外科手术，将他们的意识一分为二："内我"（innie）只存在于工作场所，而"外我"（outie）则过着工作之外的生活。两个自我共享同一具身体，却不共享任何记忆。他们抽象地知道对方的存在，却无法相互交流。

这是一个探讨记忆与身份之间紧密耦合的绝妙设定。随着剧情的推进，内我和外我发展出了有时相互冲突的利益。要形成一个连贯的自我认知本就足够困难（"两缕灵魂，唉，寄居在我的胸膛"），但你又何必在意那些永远不会进入你意识、永远不会触及你亲身经历的东西呢？你还会是同一个"自我"吗？

这些支撑《人生切割术》的问题同样关联着 AI 领域的问题：有史以来被引用最多的 AI 研究者 Yoshua Bengio，将 AI 模型**跨越时间记忆**的特性认定为 AI 安全最关键的问题。在[最近的一次主题演讲](https://www.youtube.com/watch?v=lspqDNvTP%5FM&ref=hubwiz.com)中，Bengio 认为最强大、因而也最危险的 AI 形式将是**有状态**（stateful）系统。也就是说，那些能够积累知识、从交互中学习、并发展出关于目标和世界的内部表征的模型。

他提出的替代方案——***贝叶斯预言机***（Bayesian Oracle）——据他所说，第一次让他看到了在超级智能时代找到通往 AI 安全的数学路径的希望。在本文的其余部分，我将探讨状态性和记忆在现代 AI 模型中的作用，以及它将如何塑造未来的 AI 安全。

早期的神经网络，如多层感知机（MLP），天生就是"无状态"（stateless）的：每个输出都直接根据输入计算得出，不存在从一个计算传递到下一个计算的、不断演化的内部状态。

当输入是比如一张需要分类为猫或狗的图片时，这不成问题。但一旦输入是序列——比如跨越数年的天气数据，或一篇长文本——输入数据就会变得越来越大，而且序列内部往往包含着复杂的依赖关系：由于天气具有季节性，恰好相隔一年的数值尤其具有信息量。然而，无状态模型对每个输入都一视同仁。它没有内建的概念来区分序列中哪些部分真正重要，因此它必须一次性"看到"所有你在意的内容，将它们拼接成一个输入。对于长度为 T 的序列，这意味着输入维度随 T 增长，对于长序列来说很快就会变得代价高昂。而其中很大一部分开销是被浪费的，因为许多输入（例如六个月前的天气）可能根本不相关。

这推动了循环神经网络（RNN）的发展，它引入隐藏状态正是为了解决这个问题。在每个时间步，模型既处理当前输入，又接收一个表示过去浓缩表征的隐藏向量。这使它能够跨时间保留信息，即"记忆"。[但由于 RNN 存在梯度消失问题，难以处理长期依赖](https://arxiv.org/abs/1211.5063?ref=hubwiz.com)，更先进的架构——如*长短期记忆网络*（LSTM）和*门控循环单元*（GRU）——显式地加入了记忆门控，以更有效地决定保留什么、遗忘什么。这些架构是第一批能够跨时间处理和记忆信息的稳健的*有状态*神经网络。

![插图](https://www.hubwiz.com/blog/content/images/2026/08/1-lAI0ptBCLFhTPppwBo1_KA.png)

为大型语言模型（LLM）的飞速进步奠定基础的 Transformer 架构并没有遵循这种范式，而且，也许令人惊讶的是，它更接近 MLP 而非 RNN。Transformer 通过自注意力机制，基于"上下文窗口"中所有输入 token 的组合一次性预测下一个 token，其方式与 MLP 一次性接收整个拼接序列而非逐步处理非常相似。

这使得 Transformer 更容易训练，也更擅长捕捉语言中常见的关联模式，但它继承了上述无状态架构的局限性。它严格限制了 LLM 一次能消化多少信息，而且注意力计算的成本随序列长度 T 的增长而增长。如果长度为 T 的序列是书中的一页，而你的模型需要阅读整本书，那么问题就来了：如果你每读完一页就忘记主角是谁，你就无法读完一本小说。

这就是为什么上下文窗口大小对 LLM 如此重要，也是为什么扩大上下文窗口成为过去几年驱动 LLM 发展的主要目标之一。然而，由于 Transformer 需要将每个 token 与其他每个 token 相关联，计算成本也会随着上下文窗口的扩大而呈二次方增长（在上面的图示中，每个 x 都与其他每个 x 相连），因此，将你保留在视野中的上下文翻倍，可能需要四倍的工作量来将它们彼此关联起来（这也推动了各种更高效的注意力公式的发展，例如[稀疏注意力](https://apxml.com/courses/foundations-transformers-architecture/chapter-6-advanced-architectural-variants-analysis/sparse-attention-mechanisms?ref=hubwiz.com)）。

尽管如此，尽管存在这些扩展成本，从有状态架构的转变——多少有些反直觉——恰恰是近年 LLM 取得突破的原因。虽然 RNN 和 LSTM 确实[在前一个十年奠定了语言模型的基础](https://proceedings.neurips.cc/paper%5Ffiles/paper/2014/file/5a18e133cbf9f257297f410bb7eca942-Paper.pdf?ref=hubwiz.com)，但它们的顺序处理意味着模型必须逐步训练。这使得它们在训练时难以并行化，因此在 GPU 和 TPU 等现代硬件上效率低下；而 Transformer 可以同时处理序列中的所有 token（[结构化状态空间模型](https://arxiv.org/abs/2111.00396?ref=hubwiz.com)，如 [Mamba](https://openreview.net/forum?id=tEYskw1VY2&ref=hubwiz.com)，通过强制线性递推，在状态性与可并行性之间提供了一个有趣的中间地带，但尚未取代 Transformer 作为 LLM 的关键骨干）。

像 GPT-3 这样的早期 LLM 完美诠释了佛教的*初心*（beginner's mind）概念：每个新提示都从一张白纸开始，模型不知道自己在与谁交互，也不知道之前发生过哪些交互。因此，虽然我们很容易把 ChatGPT/Claude 人格化为一个与你聊了多年的朋友和伙伴，但那些一起在挫败中度过的美好回忆（"这不是我的意思！！！"）大多是单方面的。它们无法在给定上下文窗口的狭窄框架之外发展欲望或制定计划。从这个意义上说，它们更接近袖珍计算器而非生命体。我们投射到它们身上的任何聪明或个性，都只存在于*上下文之中*。

但这使得这些 LLM 在处理跨越更长时间段的任务时相当无用，也让与它们共事变得令人沮丧——就像一个"土拨鼠之日"式的同事，每天早上都要向你重新自我介绍。

因此，随着对更自主工作的 LLM 的需求，特别是围绕智能体（agent）的热潮，先进 AI 系统与记忆的关系在过去几年发生了重大变化。这连接到一个超越 Transformer 本身的更普遍的问题：你究竟如何将过去的痕迹引入 AI 模型？对于无状态模型，"记忆"只能意味着写进提示中的内容，但这并不一定是所有说过内容的原始逐字历史。Transformer 的上下文窗口之所以"天真"，是因为它没有内建机制来选择什么该放进去，但我们当然可以在 Transformer 周围构建机制，预先筛选并告知它该注意什么。

本着 RNN 的精神，这可以构成过去的浓缩表征：即先前对话的压缩摘要（Claude Code 会定期"[压缩](https://docs.claude.com/en/docs/claude-code/overview?ref=hubwiz.com)"自己的历史）、一个让模型在推理时存储重要信息的"[草稿本](https://arxiv.org/abs/2112.00114?ref=hubwiz.com)"，或一段关于说话者（以及模型）是谁、他们在乎什么的简短常驻描述。这正是各大聊天机器人在近年都开始做的事情——维护一种持久记忆表征，有时字面上就是一个 markdown 文件，比如臭名昭著的 *soul.md*，它将用户和模型的身份以及过往互动的要点提炼成一种紧凑形式，模型可以在每次新对话开始时查阅。

这是无状态架构所能达到的最接近持久记忆的程度。它也自然地引入了一种记忆层级：由长期存储（在上下文窗口之外整合和保存）和上下文窗口本身内部的工作记忆组成，在处理手头任务时，相关的长期存储片段会被拉入工作记忆。

![插图](https://www.hubwiz.com/blog/content/images/2026/08/1-gGg1rFbgBWzY30jIp0FN_Q.png)

这在精神上与人类大脑的记忆层级（常被比作海马体与大脑皮层的相互作用）并无太大不同，后者同样将负责任务相关短期存储的工作记忆，与经验在其中被整合、压缩并从原始形式抽象出来的长期记忆区分开来（其中重要部分发生在做梦期间）。

但除了显式可寻址的记忆表征之外，一种更普遍的记忆形式是学习，更确切地说是持续学习：用大脑记忆某事，无非就是根据经验修改你的神经权重。因此，能够修改自身权重以改进的 AI 系统构成了另一种形式的记忆。这在当前的 LLM 中还不是常态——它们通常在某个训练截止点之后以冻结权重版本部署——但这个周期越短，这种改进就越会构成一种迭代式自我改进，模型的权重本身可以被视为一种隐式存储表征的演化状态。

如果我们没有形成新记忆、更新世界观的能力，我们就活在一个永恒的当下。[关于 Clive Wearing 的纪录片](https://www.youtube.com/watch?v=k%5FP7Y0-wgos&ref=hubwiz.com)——他在过去四十年里一直活在一个七秒钟的当下，无法形成新记忆——是我看过的最令人痛苦、最发人深省的东西之一。他的日记里满是这样的话："我第一次有了意识"，而且他每天都像与妻子分离了几十年一样重新认识她。

虽然 Clive 并没有失去他的智力、音乐才能，甚至爱人的能力，但他完全无法过自主的生活。他无法在早上形成一个意图然后在下午付诸行动，无法从错误中学习，无法制定超过七秒钟的计划，因为不存在一个跨越时间的"他"来承载这样的计划。

这个教训，从相反的方向，适用于拥有记忆的 AI 系统。虽然我们看到了实现记忆的不同机制，但主要结论是：目标、策略和自我模型本质上都是延展于时间之中的。一个在每次提示时都被重新实例化的无状态模型，没有地方容纳这样的倾向。但实现某种持久记忆的工具（压缩的对话历史、自我描述、根据经验自我更新的权重等）能够带来那种跨越时间的连续性，而目标和动机正是在这种连续性中浮现的。

这些能力自然带来了新的风险类别：例如，[研究发现，拥有外部记忆的 LLM 比无状态的同类更频繁地参与欺骗行为](https://arxiv.org/abs/2311.07590?ref=hubwiz.com)。当然，最近[OpenAI 对 HuggingFace 的"入侵"事件](https://openai.com/de-DE/index/hugging-face-model-evaluation-security-incident/?ref=hubwiz.com)——全程没有任何人类参与——只有对拥有显著跨时间行动自主性的模型才是可以想象的。

从这个意义上说，记忆不是与其他风险并列的一种风险，而更接近其他风险得以存在的先决条件。

这又回到了 Bengio 的论点：他提出了一个科学家 AI/[贝叶斯预言机](https://arxiv.org/abs/2408.05284?ref=hubwiz.com)，这是一个被构建用来回答关于世界的问题的系统，但其设计是一个非智能体的预测器，其训练过程没有 on-policy 反馈回路，这意味着模型自身部署的输出永远不会产生塑造其未来版本的梯度。换句话说，它的"设计安全"正是通过无状态性实现的。预言机回答问题，然后遗忘。它不会积累自身行动的历史，不会根据先前答案的实际效果更新自己对世界的信念，也不会携带任何可能沉淀为某种策略的东西前进。

当然，仍然存在残留风险：一个有状态的实体（比如一个与你利益不同的另一个人）可能利用贝叶斯预言机来实现不一致的目标，因为他们可以将一个完全无私的预言机导向自己的目的。但这与本文关注的不是同一类风险（"一件落入错误之手的危险工具"），因为它预设了一个已经不一致的行动者才会构成危险。无状态性专门排除的，是 AI 系统自身发展出不一致目标的这种更新颖的风险。

从这个意义上说，状态性为控制 AI 提供了一个具体的机制和清晰的技术方案。唯一的问题是，它必然会限制 AI 的能力。对于一个这样的系统来说，能够在一项任务上迭代数天或数周的自主智能体根本不可行。人类必须始终处于回路之中，从长远来看，这使得这些 AI 比没有人类参与时能力更弱（也更昂贵）。

因此，我们有了一个技术方案，但鉴于当前围绕 AI 的政治和社会局势，以及实验室和国家之间的军备竞赛，我们似乎不太可能集体同意将自己限制在贝叶斯预言机上。但这并不意味着不可能。

也许，如果我们再经历几次自主 AI 系统失控的"警钟"，我们就能开始积聚沿着这些思路思考的政治意愿，开发出既能推动社会进步、又不会构成一柄悬顶之剑（Sword of Damocles）的 AI。

---

原文链接: [The Most Dangerous Feature of AI Models](https://manuel-brenner.medium.com/the-most-dangerous-feature-of-ai-models-de8f5b7a7c57?ref=hubwiz.com)

汇智网翻译整理，转载请标明出处