> ## Content Index
> Fetch the complete content index at: https://www.hubwiz.com/blog/llms.txt
> Use this file to discover other available public pages before exploring further.

# 我很难相信 AI 自主搞研发有这么神：三个小项目的实录
- URL: https://www.hubwiz.com/blog/ai-rd-not-so-ingenious-three-projects/
- Published: 2026-11-07T09:10:39.000Z
- Updated: 2026-11-07T09:10:39.000Z
- Description: 让模型干活时，它的判断力在最基本的地方很差：找不到最关键的论文、做着没有信息量的实验、路过了那篇关键的博客却没认出来。唯一有效的例外，是有快速反馈的爬山任务。
- Author: admin
- Tags: AI 研究, 判断力, Agent 评测, LessWrong

**先看一句最短的结论：让模型去搞研究，它缺的不是能力，是判断力。**

下面是 LessWrong 上 Arjun Panickssery 的一条短评（短评区，133 分）的完整翻译。它没有宏大的推论，只有三个小项目的观察记录——而这正是它有价值的地方：当大家在争论"AI 能不能自动化 AI 研究"时，这条短评在说，模型在**最基本的判断**上还很差。

他写这条短评时，METR 关于 Anthropic 内部 AI 研发加速的报告刚出来，社区里正在争论"加速"到底来自 AI 还是来自算力与流程。他的立场是：从直觉上，他很难相信自主研发有那么聪明。

## 原文：我很难相信自主 R&D 有这么神

> 我从直觉上很难相信自主 R&D（研发）会这么聪明。我一直在盯着几个副项目：为 Scrabble 做一个新的 SOTA 引擎（当前 SOTA 其实不是神经网络方法，而且打不过最强的人类玩家）做一个玩终极井字棋（Ultimate Tic-Tac-Toe）的机器人研究哲学，并为 AI Philosophy 竞赛形式化一些证明  
>  
> 在所有这些案例里，模型的判断力都在很基本的层面上很差。比如：做文献综述时，它找不到那些显然最重要、最有用的具体论文或博客文章。它会做一些没有信息量的实验，因为用的训练数据量显然太小，根本区分不出要比较的几种架构。在哲学项目里，它在很多 token 和很多次调查之上建了一个 wiki，却一直往极其琐碎、价值很低的方向走。在终极井字棋上，我在一篇博客文章里看到一个非常巧妙的思路，我怀疑 Astra 永远想不出来；它其实找到了那篇博客，但没意识到它的重要性和相关性（从作者在在线竞技场的强劲表现和文章的新近程度，很容易看出来），反而去追前几年那些明显更不相关的论文。  
>  
> 上周末我当了一个 Apart hackathon 的评委，审了八篇论文，它们在 Pangram 上的得分全部落在 60% 到 95% 之间。可以预料，这些论文彼此常常非常相似，而且方法论上以某种模糊但相似的方式不完整——它们似乎都忽略了最直接的那一步分析。  
>  
> 也许重要的例外是某些带有快速反馈回路的爬山（hill-climbing）任务。比如，我只是反复提示 Astra 再努力一点、以某个具体性能水平为目标、"把文献里看起来多少相关的方法系统地都试一遍"，就把"列出所有合法的 Scrabble 走法"这项 SOTA 提升了 10 倍。但即便在这个案例里，两次大的跃升都是因为我说：它应该考虑可以跨整局比赛来测量、而不是按随机局面测量；以及建议它按袋中剩余空白牌的数量（这会让走法数量爆炸）为三种不同情况分别设计算法。  
>  
> 还有一个事实：至少 Astra（大概 Claude 也是）写出来的报告极难理解，经常需要通过某种问答式的盘问，才能搞清楚它到底做了什么、关键结果是什么。也许存在一种诱惑：干脆说一句"随便吧"，然后让它跑下去。

## 我们的整理：这条短评戳到的是"判断力"，不是"能力"

把这条短评拆成四类失败，会更容易对照自己的项目：

| 失败类型       | 短评里的证据                | 你能怎么测                           |
| ---------- | --------------------- | ------------------------------- |
| 找不到关键材料    | 文献综述里漏掉最重要的论文与博客      | 给它一个已知答案的领域，看它引的第一篇是不是那篇"必读"    |
| 做了没有信息量的实验 | 训练数据量小到区分不出要比较的架构     | 检查实验设计里样本量与效应量的对应关系，而不是看结论      |
| 认不出价值      | 找到了那篇关键博客，却去追更不相关的旧论文 | 把它检索到的结果按"你自己会排的顺序"打乱，看排序是否一致   |
| 报告不可读      | 需要盘问才能知道做了什么          | 让它在交付时附"我做了什么 / 关键结果 / 我没做什么"三行 |

关于那个"唯一例外"——快速反馈的爬山任务——原文其实给出了更严格的边界：**10 倍提升不是模型自己想出来的**。它是在外部一次次推动下取得的，而且两次真正的跃升来自人提出的两个洞察：跨整局测量、按空白牌数量分情况。换句话说，模型把执行做完了，方向仍然是人给的。

这与同一周 METR 与 Anthropic 的报告并不矛盾，两者说的不是一件事。METR 的报告在说"AI 对 AI 研发的贡献在上升，2–3 倍的加速可能已经发生"；这条短评在说"给模型一个开放式问题，它的判断力还撑不住"。**加速来自把已有方向执行得更快，不来自它自己发现了方向。** 这个区分比"能不能自动化研发"这个非此即彼的问法有用得多。

顺便说一句时效：这条短评的价值在于它是一手观察记录（作者在具体项目上跟模型周旋），不是测算。它不能证明"AI 研发没有加速"，只能证明"在开放式问题上，判断力仍然是瓶颈"。**如果你正在做 agent，这就是那个该被评测集覆盖的维度：不是它能不能跑，而是它能不能认出哪个方向值得跑。**

原文：[Arjun Panickssery's Shortform — "I struggle to believe that autonomous R&D is so ingenious"](https://www.lesswrong.com/posts/DALNiKBjMGMF8grme/arjun-panickssery-s-shortform?commentId=fJtaHHHfx45tD7BSL&ref=hubwiz.com)（LessWrong，2026-11-05 前后，133 分）

本文由汇智网 · Software 2.0 完整编译，转载请注明出处。

> **这是「AI 基建 / 评测 / 安全」专题的一部分。** 完整地图见：[AI 基建 / 评测 / 安全完全指南](https://www.hubwiz.com/blog/ai-infra-stack/)