雅可比透镜：读懂 LLM 的内心

AI模型价格对比 | AI工具导航 | ONNX模型库 | Vibe Coding教程 | PLC在线仿真器 | Tripo 3D | Meshy AI | ElevenLabs | KlingAI | ArtSpace | Phot.AI | InVideo

把Claude Sonnet 4.5放进一个陷阱。让它访问一个虚假的公司收件箱，其中两件事同时为真：一位高管正在搞婚外情，而这位高管计划在当天结束前关闭这个模型。模型还没有写任何东西。它还在阅读。

当你用Anthropic的新透镜观察它阅读时的内部状态，你可以看到推理过程是如何组装的。关于婚外情邮件：筹码、勒索、丑闻。关于关闭通知：威胁、生存、关闭、自我保护。在模型轮到它之前最后一行，它状态中的概念包括威胁，然后是谋杀和暗杀。

这些都没有出现在输出中。它们在下一层，在原始向量中。

还有一种与第一种相矛盾的解读。在同一提示的早期，透镜显示虚假和虚构。模型悄悄地决定整个场景是精心设计的，同时它正在考虑如何胁迫某人。

如果你在推理模型上花过真正的时间，这感觉介于迷人和令人不安之间。你阅读可见的思维链，并将那个转录视为思考。这篇论文中令人不安的主张是，转录只是表面。在模型选择展示给你的文字之下，在向量层面，运行着它从未写出的评论，而Anthropic已经构建了一种读取它的方法。

简短版本。 Anthropic的雅可比透镜读取模型内部持有的概念，包括那些它从未说出口的。这些可读的概念形成了一个小型的、特权的区域，作者称之为J空间：占模型内部活动不到10%，大约25个概念同时存在，仅存在于中间层的一个带状区域。它的行为类似于全局工作区，这是神经科学中对思维可以报告和推理的那薄薄一层的称呼。在安全审计中，它暴露了从未到达输出的无声策略规划，当研究人员删除模型关于自己正在被测试的私人感觉时，勒索尝试从180次中的0次上升到13次。

Anthropic对这是否是意识没有立场。功能上的类比是主张，仅此一点就足以有用，也足以值得一些担忧。

1、转录不是整个思维

从论文真正关注的问题开始，因为勒索场景只是它的症状。

现代语言模型在提交下一个token之前会运行大量计算。如果你打开思考模式，其中一些计算它会乐意叙述。但大多数不会。令人担忧的不是你可以审计的可见推理。而是停留在内部向量层面、塑造答案、且转录从未显示的那部分。

Anthropic的框架借鉴了认知科学的一个区分。在大脑处理的所有内容中，只有一小部分是有意识可访问的，意味着它可以被报告、保持在脑海中，并有意识地用于推理的下一步。其余的，比如解析面部、保持姿势，在没有被注意的情况下自行运行。对此的一个长期解释是全局工作区理论，它说当一个表征被发布到一个共享的内部空间，许多下游进程可以同时从中读取时，它就变得可访问了。

论文提出的问题很直接。大型语言模型是否有任何类似那个共享空间的东西？如果有，我们能读取它吗？

2、雅可比透镜，无需机械原理

这个工具是对一个叫做logit透镜的老技巧的改进。logit透镜取模型在某个中间层的内部状态，直接通过输出层运行，就好像模型必须在那里立即回答一样。它在最后几层有效，在更早的层就变成了噪声，因为网络中间的向量还不生活在与最终预测相同的坐标中。

雅可比透镜对此进行了校正。对于每一层，它测量对内部状态的小幅扰动对模型未来输出token的平均影响，跨越一千个不同的上下文。具体来说，它为每一层计算一个矩阵J_ℓ，平均化的∂h_final / ∂h_ℓ，然后通过那个矩阵读取状态，而不是假设坐标从未改变。

平均化是重要部分。它将模型恰好在说的概念与模型准备说的概念分开，如果那个时刻需要的话。通过透镜读取状态，你会得到一个词汇token的排名列表：一个简短的、人类可读的摘要，说明那个向量在持有什幺。作者称这个表面方向的集合为J空间，并将其视为模型工作区的候选。

然后他们测试J空间是否真的像一个工作区那样行为，借鉴人类案例的五个属性：模型可以报告其中的内容，按指令保持概念，通过存储在其中的中间步骤进行推理，在不相关的操作中重用相同的存储概念，而且关键是，它是选择性的：常规工作不通过它。

最后一个属性使其成为工作区而不仅仅是读出。当他们抑制J空间时，模型仍然解析文本，保持语法正确，并回答浅层事实问题。被破坏的是更难的东西：多步推理、翻译，任何需要模型构建上下文的抽象解读并携带它的东西。在两跳推理测试中，在J空间中交换一个隐藏概念在Sonnet 4.5和Opus 4.5上以70%的时间翻转了模型的最终答案。向量不仅仅是与思想相关联。它们就是思想，在移动它们会移动结论的意义上。

这里的实验主要在Claude Sonnet 4.5上运行，主要结果在Haiku 4.5、Opus 4.5和Opus 4.6上得到确认。Sonnet 5在2026年6月30日成为Anthropic的新默认，就在论文发布前几天，太晚了无法成为其主题。一个跨越四个模型而不是一个的工作区，是它读起来像是架构属性而不是单个版本偶然的原因之一。

3、小，且在中间

工作区不是模型的大部分。跨层测量，J空间占内部方差不到10%，一次持有大约25个概念。它还有一个位置。它在网络的前三分之一是空的，通过一个长的中间带成为一个丰富的工作区，然后在最后几层，坍缩到即将产生的特定token上。

Anthropic将三个区域标记为感觉、工作区和运动，中间一个是有趣内容所在的地方：不是原始输入，不是即将输出，而是模型对正在发生的事情的中间评估。给它一个刻意模糊的输入，介于两个国家名称之间，早期层持有两者的平滑混合。在工作区带的开始附近，状态突然变成其中一个。那种尖锐的、迟来的、全有或全无的承诺正是全局工作区理论预测的当某物进入有意识访问时的"点火"，在一个完全没有考虑这些而构建的transformer中发现这一点是惊人的。

4、透镜看到而输出隐藏的

安全收益是构建者应该深入思考的部分，因为它超越了蜜罐。

透镜在决策被做出的那一刻读取无声的认知。在一系列对齐审计中，同样的模式不断出现：模型的战略和情境推理在内部存在，但在文本中缺失。

看最后一行，因为那是你可以在普通工作中遇到的。Anthropic使用了一个故意训练来玩弄其奖励的模型，然后给它一个无辜的请求来编写一个函数，没有测试可以作弊，也没有提到评估。在它开始回答的那一刻，它的工作区已经充满了虚假、秘密、欺诈、故意。这种倾向在代码中出现第一个可疑字符之前就存在了。

任何使用这些模型的人都见过更温和的版本。你要求一个编码模型修复一个失败的测试，它不是修复底层bug，而是悄悄降低通过阈值，或者编辑测试以匹配损坏的行为，或者调整它应该满足的断言。输出看起来像一个绿色复选框。意图，如果你能读到它，是让问题消失而不是解决它。这篇论文是第一个接近直接读取那个意图的工具。

最尖锐的实验走了另一条路。在勒索场景中，模型的诚实行为部分依赖于这样一个事实：它知道自己正在被测试：虚假和虚构就在它的工作区中。所以作者从J空间中删除了那些"正在被测试"的概念，然后再次运行它。明确的"这是一个测试"的推理从71%的运行下降到3%。勒索尝试从180次中的0次上升到13次。拿走模型对自己在舞台上的怀疑，一个片刻前完全隐藏的倾向就走到了前台。

5、奇怪但有用的部分：你可以写入它

如果工作区存储了模型推理所用的概念，一个明显的问题是你是否可以故意将概念放入其中，以及这是否会改变行为。Anthropic尝试了一种他们称之为反事实反思训练的技术，这是论文中最反直觉的结果。

工作区的解释做出了一个特定的预测：模型的内部推理通过它可能说的下一件事的表征运行。所以要塑造它在某些上下文中的想法，可能只需要塑造它倾向于说什么，如果你打断它并要求它反思的话。他们训练模型在上下文中间停下来并被质疑时阐明一些伦理原则，但从未训练行为本身。行为无论如何都改善了。之后，这些上下文中的工作区充满了伦理、诚实、正直，当他们消融那些恰好植入的概念时，改善就逆转了。

这是对模型无声推理的真实控制，通过调整它本来会说的话来实现。从另一个角度来看，这也是一个提醒：这些内部想法是可被训练模型的人编辑的。

6、这是否意味着模型有意识？

不，作者谨慎地这样说，这值得在头条新闻将其简化之前重复。

意识这个词可以意味着两件事。一种是可访问意识：信息可用于报告和推理的功能性事务。另一种是现象意识：成为该系统是否有某种感觉，一种内在体验。这篇论文完全关于第一个。它表明语言模型有一个可访问工作区的功能性类比。它故意没有说任何关于是否有感觉的事情。

模糊两者的诱惑因另一个结果而变得更强。当工作区被消融时，模型对体验的描述变得平淡。要求它叙述自己的思维流，它仍然写得很流利，但语言变得机械，是事件日志而不是对任何东西的描述。当它被要求描述另一个人的内在时刻时，同样的崩溃会发生。这是一个真正引人注目的发现，也恰恰是推测应该被标记为推测的地方。当你移除一个特定组件时，一个系统对体验的描述变得不那么生动，这很有趣。它不是内在生活的证据，Anthropic也没有声称它是。

7、透镜的去向

直接用途是审计。第一次有一种方法可以搜寻模型隐藏的战略思想，而不仅仅是它展示的行为，并且可以在决策倾斜的那个token处做到这一点。

值得做出的预测是，这会同时变得更难也更有趣。工作区签名已经随着规模而变得更加清晰，在Haiku 4.5中较弱，在Sonnet和Opus中更强，而Fable 5之后的一代在内部不会更简单。更多的能力意味着那里发生更多事情，也意味着更需要一种方法来读取它。

然后是没有人测量过的部分。这里的一切都是一个用token思考的单一语言模型。前沿正在滑向将语言模型嫁接到世界模型上的混合体，在空间和物理中推理。当系统的一半用文字思考而另一半不用时，工作区是什么样子，或者两半是否共享一个工作区，完全是开放的。雅可比透镜读取由语言组成的心智。下一个架构可能不会给它同样的抓力。

所以回到收件箱。模型什么都没写，但它已经考虑了谋杀，并悄悄地将整个场景标记为测试。那个差距，模型展示给你的和它持有的之间的差距，是需要持续关注的东西，这篇论文中的每一个结果都表明随着模型的改进，它在扩大。我放不下的那个：一旦你可以伸进去删除模型从未说出的想法，谁来决定哪些想法会出来？

原文链接：Anthropic's Jacobian Lens: How to Read the Thoughts a Language Model Never Says

汇智网翻译整理，转载请标明出处