我很难相信 AI 自主搞研发有这么神：三个小项目的实录

先看一句最短的结论：让模型去搞研究，它缺的不是能力，是判断力。

下面是 LessWrong 上 Arjun Panickssery 的一条短评（短评区，133 分）的完整翻译。它没有宏大的推论，只有三个小项目的观察记录——而这正是它有价值的地方：当大家在争论"AI 能不能自动化 AI 研究"时，这条短评在说，模型在最基本的判断上还很差。

他写这条短评时，METR 关于 Anthropic 内部 AI 研发加速的报告刚出来，社区里正在争论"加速"到底来自 AI 还是来自算力与流程。他的立场是：从直觉上，他很难相信自主研发有那么聪明。

原文：我很难相信自主 R&D 有这么神

我从直觉上很难相信自主 R&D（研发）会这么聪明。我一直在盯着几个副项目：为 Scrabble 做一个新的 SOTA 引擎（当前 SOTA 其实不是神经网络方法，而且打不过最强的人类玩家）做一个玩终极井字棋（Ultimate Tic-Tac-Toe）的机器人研究哲学，并为 AI Philosophy 竞赛形式化一些证明

在所有这些案例里，模型的判断力都在很基本的层面上很差。比如：做文献综述时，它找不到那些显然最重要、最有用的具体论文或博客文章。它会做一些没有信息量的实验，因为用的训练数据量显然太小，根本区分不出要比较的几种架构。在哲学项目里，它在很多 token 和很多次调查之上建了一个 wiki，却一直往极其琐碎、价值很低的方向走。在终极井字棋上，我在一篇博客文章里看到一个非常巧妙的思路，我怀疑 Astra 永远想不出来；它其实找到了那篇博客，但没意识到它的重要性和相关性（从作者在在线竞技场的强劲表现和文章的新近程度，很容易看出来），反而去追前几年那些明显更不相关的论文。

上周末我当了一个 Apart hackathon 的评委，审了八篇论文，它们在 Pangram 上的得分全部落在 60% 到 95% 之间。可以预料，这些论文彼此常常非常相似，而且方法论上以某种模糊但相似的方式不完整——它们似乎都忽略了最直接的那一步分析。

也许重要的例外是某些带有快速反馈回路的爬山（hill-climbing）任务。比如，我只是反复提示 Astra 再努力一点、以某个具体性能水平为目标、"把文献里看起来多少相关的方法系统地都试一遍"，就把"列出所有合法的 Scrabble 走法"这项 SOTA 提升了 10 倍。但即便在这个案例里，两次大的跃升都是因为我说：它应该考虑可以跨整局比赛来测量、而不是按随机局面测量；以及建议它按袋中剩余空白牌的数量（这会让走法数量爆炸）为三种不同情况分别设计算法。

还有一个事实：至少 Astra（大概 Claude 也是）写出来的报告极难理解，经常需要通过某种问答式的盘问，才能搞清楚它到底做了什么、关键结果是什么。也许存在一种诱惑：干脆说一句"随便吧"，然后让它跑下去。

我们的整理：这条短评戳到的是"判断力"，不是"能力"

把这条短评拆成四类失败，会更容易对照自己的项目：

关于那个"唯一例外"——快速反馈的爬山任务——原文其实给出了更严格的边界：10 倍提升不是模型自己想出来的。它是在外部一次次推动下取得的，而且两次真正的跃升来自人提出的两个洞察：跨整局测量、按空白牌数量分情况。换句话说，模型把执行做完了，方向仍然是人给的。

这与同一周 METR 与 Anthropic 的报告并不矛盾，两者说的不是一件事。METR 的报告在说"AI 对 AI 研发的贡献在上升，2–3 倍的加速可能已经发生"；这条短评在说"给模型一个开放式问题，它的判断力还撑不住"。加速来自把已有方向执行得更快，不来自它自己发现了方向。 这个区分比"能不能自动化研发"这个非此即彼的问法有用得多。

顺便说一句时效：这条短评的价值在于它是一手观察记录（作者在具体项目上跟模型周旋），不是测算。它不能证明"AI 研发没有加速"，只能证明"在开放式问题上，判断力仍然是瓶颈"。如果你正在做 agent，这就是那个该被评测集覆盖的维度：不是它能不能跑，而是它能不能认出哪个方向值得跑。

原文：Arjun Panickssery's Shortform — "I struggle to believe that autonomous R&D is so ingenious"（LessWrong，2026-11-05 前后，133 分）

本文由汇智网 · Software 2.0 完整编译，转载请注明出处。

这是「AI 基建 / 评测 / 安全」专题的一部分。 完整地图见：AI 基建 / 评测 / 安全完全指南