Claude 写了 90% 的代码:Anthropic 靠什么证明它对?
验证循环决定你敢同时开几个 Claude:三种测试怎么选、39 项清单按 diff 触发、检查不能被被检查的改动修改、漏掉的 bug 怎么变成规则。
在 Claude Code 团队,我们绝大多数的代码(约 90%)是由 Claude 编写并评审的。在这个体量上,“如何让 agent 用证据验证自己的工作”就变得极其重要。
验证循环是让你能把更多工作交给 Claude 的基石。没有它,你实际上一次只能跑一两个 Claude,因为每件事都得自己核对;有了它,你可以并行跑几十个、上百个。
原因在于:给 agent 一条验证自身输出的路径,是提升质量的有效手段。在围绕结构化文件生成做的内部测试中,让一个独立评分者按评分表检查 Claude 的产出,相比标准的提示循环,任务成功率最多提升了 10 个百分点,而且越难的问题收益越大。
过去代价高昂的验证手段——测试、基准、规格、真实的端到端运行——现在都可以便宜地向 agent 索取。和代码一样,agent 能很快生成测试、基准和规格;而且一旦生成,这些测试和基准是作为软件运行的,可以反复高频跑,不额外消耗太多 token。
你还可以用验证结果反过来改善 agent 在这类任务上的表现,把这个循环闭合。举例:如果一个 agent 反复在“检查日志里有没有用户数据”这个测试上失败,你可以写一个 hook,或在 CLAUDE.md 里加一条更明确的规则,避免以后再出同样的问题。这(基本上)能阻止同一个问题再次发生。
所以,既然验证是“以高速度产出高质量代码”的关键,那该用哪些类型的测试、又该怎么把它们铺到整条流水线上?这篇文章回答这两个问题,并公开 Claude Code 团队自己用的流程。
一、并非所有测试都生来平等:值得投资的三种测试
不管你选哪种测试,都有几种失败模式要避开。
测试不稳定(flaky),你就会把 agent 训练成“再跑一遍”,而不是去修那段坏掉的代码。测试太慢,agent 在批与批之间跑的测试就更少,定位问题会变得更难。较重的测试最好安排在提交改动之前跑。
下面是我认为最值得投资的三类测试。
E2E 测试
如果只能押一种测试,押端到端。这类测试描述的是真实用户流程:把商品加进购物车、结账、走到确认页。
E2E 之所以有效,是因为它很难被糊弄——整个功能要么能用,要么不能用。它还有明确的“完成”判据,并且能具体说出坏在哪。
一个单元测试可能只告诉你“Error: Timeout after 30 seconds”,而端到端测试能给你一张截图,加上一句“坏在哪”的描述。单元测试更快、更不容易 flaky,但它完全可以通过,而功能照样是坏的——因为 agent 和这个测试都没有理解完整任务。

做 E2E 测试时,一个有效的做法是给 agent 在真实运行的系统上配一双“手和眼”。你可以用 skill 把 app 启动、驱动、检查起来,工具可以是 CDP、模拟器或 API harness。
功能地图(feature map)可以同时充当 agent 的向导和评分表——这类清单通常从用户视角列出功能,并描述路径、键盘快捷键、选择器和预期结果。
属性测试:不能破的约束
大部分测试是基于“你想到可能会出什么错”写出来的。属性测试看的是人容易漏掉的边界情况,而 agent 恰恰常在这些地方翻车。
你先写下一句你认为不可能失败的断言,然后用测试库去生成成千上万个输入来试图推翻它——JS/TS 用 fast-check,Python 用 Hypothesis,Rust 用 proptest,等等。
几乎每个软件项目里都有大量这类属性,比如:
- 往返编码(round-trip):“你把 X 编码再解码回来,得到的还是 X。”这条对解析和序列化同样成立。
- 不变量(invariants):必须永远为真的事,比如“账户余额永远不能变成负数”。
- 幂等性(idempotency):一个动作(迁移、归一化、重试)做两次,效果和做一次相同。
- 等价性(equivalence):优化后的代码产出与“朴素但正确”的实现相同的结果。
属性测试库是让 agent 保持诚实的好办法:它用的边界情况,和当初写这段代码的 agent 所带的偏见不是同一套。它在重写场景里尤其有用——那时规格已经和线上实际行为脱节,不再是一个可信的验证依据。
差分测试:把旧系统当作预言机
差分测试在“大规模迁移”里格外有效——这类场景要求功能保持不变。做法是:把同样的输入同时喂给旧系统和新系统,看结果是否出现差异。一旦有差异,就说明存在 bug 或破坏性变更,需要修。
差分测试的关键有两点:用随机生成的输入,或者用一段生产流量作样本;同时对无关因素做归一化(比如空白字符),并维护一份“已批准的变更”清单,用于新环境本来就该与旧环境不同的情况。
二、Claude Code 团队是怎么想“验证”这件事的
我们之前写过 Anthropic 的代码评审是怎么运作的,这篇想更深入地讲我们怎么验证自己的工作。
验证 = 把改动跑起来
把 app 端到端跑起来,比测试更重要。你不会在没试过模拟器的情况下就发一个 iOS 改动,对 Claude 也是这样。
Claude 可以像一个人或一个 QA 工程师那样测整个 app。web 改动让它用 Claude Chrome 扩展,移动端用 iOS 或 Android 的 MCP,桌面端用 computer use,后端改动就在本地把服务跑起来。
要把“怎么启模拟器、怎么跑 app”固定下来,就写一个叫 verify 的 skill:放在仓库的 .claude/skills/ 目录里,尽量靠近相关代码,需要几个就加几个。Claude 知道在提交改动之前先用这个 verify skill。
然后是投入,让它快且可靠:让 Claude 自己迭代这个 skill、对它做压力测试。它是你的冒烟测试台,你希望它稳如磐石。
一旦你给 Claude 一条端到端冒烟测试自己的改动的路,结果会好很多。你会看到它像人一样反复迭代、更快地抓到真实错误。Anthropic 几乎所有改动都是这么测的。
失败的测试需要人来接手
没人能读得完每一个改动,所以我们把“失败”当作“该由人来看”的一种判据。Claude 跑检查,并尝试修掉任何失败项;如果一项检查在三轮之后仍然失败,Claude 就停下来,把人叫进来。
代码的所有者自己写检查
谁拥有这段代码,谁就给这段代码写检查,并且一直调到“它标出来的问题,就是所有者本人会标出来的那些”。当一个检查把评审者拉进来时,它应当说明为什么要拉人,而不是让人从 diff 里自己推。
可靠性检查按 diff 触发
我们维护一份可靠性清单,共 39 项,每一项都带一个可以从 diff 里读出来的触发条件、一个检查,以及它背后的那些事故或 PR。其中一条是“--resume 要能加载旧的 transcript”。当会话存储或消息类型发生变化时,我们就问:新增的字段能不能安全加载,因为更早的 transcript 里没有这个字段。
Claude 读 diff,只检查触发条件命中的那些项——通常是 3 到 10 项——于是没有人需要靠背下过去的事故来兜底。
一个评审者,多轮
我们不靠“堆更多评审者”来改善评审。在主评审之上再叠一个更贵的评审者,往往比把主评审调好更糟。取而代之,我们用一个 REVIEW.md 来说明这次改动里评审者该重点关注什么。
我们也认为评审轮次和验证轮次应该互相叠加:每一轮都指向前面几轮的上下文和历史失败,而不是从头把所有东西再查一遍。这更便宜,而且能发现更多。
改动不能修改自己的检查
如果一个改动能修改那个评判它的检查,这个检查就是坏的。Code Review 读取的 REVIEW.md来自基线分支或默认分支,永远不会来自这个 PR 自身的改动。Claude Code 团队确保“把关改动的那些规则”处在一个改动自己动不了的分支上。
Claude Code 团队还把评审绑定在 commit 上。如果有人在你评审的同时还在推新提交,这次评审结果就没用了——一个针对过期 commit 的“通过”毫无意义。
团队也坚持先跑便宜的检查。如果一个 agent 在本地测试之前就推送,它就花掉了共享的评审与 CI 时间,而那个 bug 本来是它可以自己抓到的。在我们团队,Claude 会在开 PR 之前先跑测试、构建和 linter。你可以用一个 hook 强制这点——在 Claude 完成时自动跑测试;也可以设一个 目标(goal):测试套件通过。
新闸门先从观察模式开始
在我们自己的仓库里,每个 commit 都会打上“它是怎么被验证的”标记。这个标记甚至包含“none”,这样我们可以查询“哪些提交根本没有被验证”。
我们还做了一个提交闸门:如果这次会话里没有出现 /code-review 或 /verify,它可以拦下这次提交。这个闸门有三种模式:关闭、观察、强制。
观察模式只记录“本来会被拦下什么”,这样我们可以检查有没有误判,确保没有任何人受影响。
强制模式会真的拦下提交。任何提交都可以在提交信息里解释“为什么它没有被验证”。如果一次会话里提交已经被拦了两次,下一次就放行,避免 Claude 卡死——Claude Code 并不完美。
用真正要紧的东西检验你的检查
Claude Code 团队还定期评审“评审者”本身。我们跟踪:合并后被回滚的改动有多少、维护者在合并前拒掉的改动有多少,以及一个规模匹配的对照组——那些合并后一直保持干净的改动。
这件事也可以用一套正式的评测来做。在我们的代码评审那篇文章里,我们介绍过 Code Review 团队如何基于历史事故与回滚搭出一套评测:为每个样例把仓库还原到评审当时的状态,并给出一句话的答案要点——那个 bug 到底是什么。只有正确描述出该 bug 的发现才得分。他们用“已合并且稳定”的改动做对照组,防止系统滥标。用于调参(tuning)的集合与他们用来评测系统的固定测试集是分开的。
他们还分别评估了三个阶段各自的召回率——原始发现、验证之后、最终评审之后。这样能看出系统有没有把它自己已经找到的 bug 弄丢。任何把这些阶段压成一个端到端总分的评测,都抓不到这个差别。
除了“发现是否成立”,我们关心的另一个维度是:这个改动的重要性。一个好评审者能抓到大部分技术上成立的问题,但人真正关心的是——这个 bug 是必须修(must-fix)、应该修(should-fix),还是吹毛求疵(nit)。
Code Review 就有这个概念,它会把问题标成 Important、Nit 或 Pre-existing。“pre-existing”这个标签的意思是:这本来就是 bug,评审者不应该拿它去问责这次的作者。
最后,Claude Code 团队会把召回率调到某个点就停——再往上调,收益就是对评测集过拟合,而不是真的抓到 bug。
把漏掉的变成规则
在 Claude Code 仓库里,我们有两种把“漏掉的案例”变成规则的方法。第一种:从人的代码评审评论和 PR 回滚里提取模式,找出共性问题。这些模式必须在至少两个 PR 里出现过、并且能从 diff 里识别出来,才算一条候选规则。然后会有三个 agent 试着反驳它,最后由人通过一个 PR 审核并批准。
第二种方法:拿一个与已知事故关联的 PR,让三个“bug 查找器”重跑一遍。如果至少两个找到了那个 bug,说明它是“可检出的 bug”;如果在一个小 diff 上仍然被漏掉,这就是一个值得写进 REVIEW.md 的缺口。
flaky 测试也是同样的处理方式。Claude 不许跳过它们、不许加 sleep,也不许“一直重试到通过”。如果找不到根因,就删掉这个测试,并写下为什么删。
规则本身也需要清理。测试套件、验证步骤和 .md 文件,你不清理就只会越长越多,所以我们会例行收拾。
三、好测试,好结果
我们发现,给 agent 一条“用强反馈循环验证自己工作”的路,结果完全不一样。把你的验证层当成任何一个正经系统来对待:让它处在被它评判的那些改动的够不到的地方;用你真正在意的那批 bug 去给它打分;它漏了东西就写下教训,让这件事不会发生第二次;并且定期修剪这些教训,让它们依然值得执行。
做到这些之后,你的工作就从“读每一个 diff”变成“定义什么叫做完(done),并审核证据”——而正是这一点,让你能同时跑很多个 Claude。

我们的整理:把这套做法落成一张自检表
原文的做法散在十来个“我们这么做”的段落里,压成一张表更好落地:
| 做法 | 原文里的具体形态 | 它解决的问题 | 你自己落地时的最小实现 |
|---|---|---|---|
| 验证靠跑,不靠读 | verify skill:启动、驱动、检查真实系统 | 单元测试全绿但功能坏 | 一个能一键把 app 跑起来的脚本,失败时留下截图或 trace |
| 失败的检查才找人 | 三轮仍失败 → 升级给人 | 没人读得完每个改动 | 定一个“轮数上限”,到点必须叫人 |
| 检查跟随所有权 | 代码所有者写检查并调到“标的就是他会标的” | 检查与责任脱节 | 谁 oncall,谁写这份检查 |
| 清单按 diff 触发 | 39 项,命中通常 3–10 项 | 靠人背历史事故 | 每条检查写一句“什么 diff 会触发我” |
| 调主评审,不叠评审 | REVIEW.md 指明本次该看什么 | 加人只加成本 | 把“这次要盯什么”写进仓库里的文件 |
| 检查够不到被检查的改动 | REVIEW.md 从基线分支读,不从 PR 读 | 改动可以给自己放行 | 判据放默认分支,PR 里改不了 |
| 便宜检查在前 | 测试、构建、linter 在开 PR 前跑 | 占共享 CI 与评审时间 | 完成后自动跑一遍,红了就别开 PR |
| 闸门先观察后强制 | off / observe / enforce | 新规则误伤 | 先只记录“本会拦下什么”,看两周 |
| 评自己,而不只评代码 | 回滚率、被拒率、规模匹配的干净对照 | 不知道检查本身准不准 | 至少跟踪“合并后被回退的比例” |
| 漏掉的要变成规则 | 两次以上 + 可从 diff 识别 + 三个 agent 反驳 + 人批准 | 同类问题反复付费 | 同一个 bug 出现第二次就写进检查清单 |
三条比原文更硬的判据,可以直接拿去问自己的流水线:
- 说不出这条检查会漏什么,它就不算检查。 原文的“分别评估原始发现 / 验证后 / 最终评审的召回率”本质就是这个要求——一个总分说明不了它在哪一层丢东西。
- 被检查的改动能改检查,则整条链的结论为零。 这是原文里最容易被忽略、也最容易在自己仓库里犯的一条:把规则文件放在同一个 PR 里改,等于自己给自己打分。
- 闸门先观察。 任何新加的拦截规则,先只看“本会拦下什么”,确认没有误判再打开强制——原文的 enforce 模式还留了“同一会话被拦两次就放行”的出口,说明他们也没指望闸门永远不错。
边界与披露
- 本文完整翻译 Addy Osmani 于 2026-11-17 发布的 X 文章《How the Claude Code team thinks about verification》,正文按原文顺序逐段对应,未删减章节;两处加粗小标题(三种测试、以及第二节里的各个做法)在中文版里提升为小标题,仅为阅读层级,未增删内容。
- 封面为图库实拍(Unsplash,平板手写勾选清单),原文封面是纯文字标题卡,按本站规范不用标题卡做封面。
- 原文全文是第一人称的团队自述:没有给出完整评测方法、没有样本量、没有对照组以外的统计口径,文中“最多提升 10 个百分点”“39 项”“通常 3–10 项”“三轮”等数字均为作者转述的内部实践,我们未做独立核实,按“作者主张”处理。
- 原文中的产品与文档链接保留原样(Claude 官方博客、code.claude.com 文档、属性测试库),它们指向的是原文自己引用的依据,不是我们的推荐。
- 文末那张 Pangram 截图是原文自带的配图,原样保留,未做解读。
- 标为“我们的整理”的表格与三条判据是我们加的,不属于原文。
- 本文由汇智网(hubwiz.com)编译整理,转载请注明出处。
同主题阅读
- Claude Code 团队怎么做代码评审:7 层防线,把人工时间压到最低
- AI 写的代码越多,审查越像盖章:你不再审,只在盼
- Agent 老是散架?该修的是 harness,不是提示词
- AI 编程 / Vibe Coding 完全指南
来源
- 原文:Addy Osmani,《How the Claude Code team thinks about verification》,X Article,2026-11-17:https://x.com/i/article/2122515769007435776(帖文:https://x.com/addyosmani/status/2122590683055993308)
- 文中提及的团队前作:《Solving code review at Anthropic》https://claude.dev/blog/solving-code-review-at-anthropic/;《Building verification loops in Claude Code with skills》https://claude.com/blog/building-verification-loops-in-claude-code-with-skills
- 相关文档:Code Review 自定义(REVIEW.md)https://code.claude.com/docs/en/code-review-customize、hooks https://code.claude.com/docs/en/hooks、goal https://code.claude.com/docs/en/goal
这是「AI 编程 / Vibe Coding」专题的一部分。完整地图见:AI 编程 / Vibe Coding 完全指南