> ## Content Index
> Fetch the complete content index at: https://www.hubwiz.com/blog/llms.txt
> Use this file to discover other available public pages before exploring further.

# Claude 写了 90% 的代码：Anthropic 靠什么证明它对？
- URL: https://www.hubwiz.com/blog/claude-code-team-verification-loops/
- Published: 2026-11-17T15:18:05.000Z
- Updated: 2026-11-17T15:24:22.000Z
- Description: 验证循环决定你敢同时开几个 Claude：三种测试怎么选、39 项清单按 diff 触发、检查不能被被检查的改动修改、漏掉的 bug 怎么变成规则。
- Author: admin
- Tags: AI 编程, 代码评审, Agent, 测试

在 Claude Code 团队，我们绝大多数的代码（约 90%）是由 Claude 编写并[评审](https://claude.dev/blog/solving-code-review-at-anthropic/?ref=hubwiz.com)的。在这个体量上，“如何让 agent 用**证据**验证自己的工作”就变得极其重要。

验证循环是让你能把更多工作交给 Claude 的基石。没有它，你实际上一次只能跑一两个 Claude，因为每件事都得自己核对；有了它，你可以并行跑几十个、上百个。

原因在于：给 agent 一条[验证自身输出](https://claude.com/blog/building-verification-loops-in-claude-code-with-skills?ref=hubwiz.com)的路径，是提升质量的有效手段。在围绕结构化文件生成做的内部测试中，让一个独立评分者按评分表检查 Claude 的产出，相比标准的提示循环，[任务成功率最多提升了 10 个百分点](https://claude.com/blog/claude-managed-agents?ref=hubwiz.com)，而且越难的问题收益越大。

过去代价高昂的验证手段——测试、基准、规格、真实的端到端运行——现在都可以便宜地向 agent 索取。和代码一样，agent 能很快生成测试、基准和规格；而且一旦生成，这些测试和基准是作为软件运行的，可以反复高频跑，不额外消耗太多 token。

你还可以用验证结果反过来改善 agent 在这类任务上的表现，把这个循环闭合。举例：如果一个 agent 反复在“检查日志里有没有用户数据”这个测试上失败，你可以写一个 hook，或在 CLAUDE.md 里加一条更明确的规则，避免以后再出同样的问题。这（基本上）能阻止同一个问题再次发生。

所以，既然验证是“以高速度产出高质量代码”的关键，那该用哪些类型的测试、又该怎么把它们铺到整条流水线上？这篇文章回答这两个问题，并公开 Claude Code 团队自己用的流程。

## 一、并非所有测试都生来平等：值得投资的三种测试

不管你选哪种测试，都有几种失败模式要避开。

测试不稳定（flaky），你就会把 agent 训练成“再跑一遍”，而不是去修那段坏掉的代码。测试太慢，agent 在批与批之间跑的测试就更少，定位问题会变得更难。较重的测试最好安排在提交改动之前跑。

下面是我认为最值得投资的三类测试。

### E2E 测试

如果只能押一种测试，押端到端。这类测试描述的是真实用户流程：把商品加进购物车、结账、走到确认页。

E2E 之所以有效，是因为它很难被糊弄——整个功能要么能用，要么不能用。它还有明确的“完成”判据，并且能具体说出坏在哪。

一个单元测试可能只告诉你“Error: Timeout after 30 seconds”，而端到端测试能给你一张截图，加上一句“坏在哪”的描述。单元测试更快、更不容易 flaky，但它完全可以**通过**，而功能照样是坏的——因为 agent 和这个测试都没有理解完整任务。

![图 1（原文配图）：左边是单元测试失败的典型输出——只有一行 FAIL 和“Error: Timeout after 30s”，没有步骤、没有 trace；右边是端到端测试失败——注册通过、加入购物车通过、结账失败、未见确认页，配 trace、失败页截图（“Payment form failed to load”，Place order 按钮不可点击）和一句“哪一步失败了”的说明。原文配注：左＝Shooting blind. No step, no trace.；右＝Screenshots, trace, and a description of what step failed.](https://www.hubwiz.com/blog/content/images/2026/11/verif-fig1.jpg)

做 E2E 测试时，一个有效的做法是给 agent 在真实运行的系统上配一双“手和眼”。你可以用 skill 把 app 启动、驱动、检查起来，工具可以是 CDP、模拟器或 API harness。

功能地图（feature map）可以同时充当 agent 的向导和评分表——这类清单通常从用户视角列出功能，并描述路径、键盘快捷键、选择器和预期结果。

### 属性测试：不能破的约束

大部分测试是基于“你想到可能会出什么错”写出来的。属性测试看的是人容易漏掉的边界情况，而 agent 恰恰常在这些地方翻车。

你先写下一句你认为不可能失败的断言，然后用测试库去生成成千上万个输入来试图推翻它——JS/TS 用 [fast-check](https://fast-check.dev/?ref=hubwiz.com)，Python 用 [Hypothesis](https://hypothesis.readthedocs.io/en/latest/?ref=hubwiz.com)，Rust 用 [proptest](https://proptest-rs.github.io/proptest/?ref=hubwiz.com)，等等。

几乎每个软件项目里都有大量这类属性，比如：

- **往返编码（round-trip）**：“你把 X 编码再解码回来，得到的还是 X。”这条对解析和序列化同样成立。
- **不变量（invariants）**：必须永远为真的事，比如“账户余额永远不能变成负数”。
- **幂等性（idempotency）**：一个动作（迁移、归一化、重试）做两次，效果和做一次相同。
- **等价性（equivalence）**：优化后的代码产出与“朴素但正确”的实现相同的结果。

属性测试库是让 agent 保持诚实的好办法：它用的边界情况，和当初写这段代码的 agent 所带的偏见**不是同一套**。它在重写场景里尤其有用——那时规格已经和线上实际行为脱节，不再是一个可信的验证依据。

### 差分测试：把旧系统当作预言机

差分测试在“[大规模迁移](https://claude.com/resources/articles/ai-code-migration?ref=hubwiz.com)”里格外有效——这类场景要求功能保持不变。做法是：把同样的输入同时喂给旧系统和新系统，看结果是否出现差异。一旦有差异，就说明存在 bug 或破坏性变更，需要修。

差分测试的关键有两点：用随机生成的输入，或者用一段生产流量作样本；同时对无关因素做归一化（比如空白字符），并维护一份“已批准的变更”清单，用于新环境本来就该与旧环境不同的情况。

## 二、Claude Code 团队是怎么想“验证”这件事的

我们之前写过 Anthropic 的[代码评审是怎么运作的](https://claude.dev/blog/solving-code-review-at-anthropic/?ref=hubwiz.com)，这篇想更深入地讲我们怎么**验证**自己的工作。

### 验证 = 把改动跑起来

把 app 端到端跑起来，比测试更重要。你不会在没试过模拟器的情况下就发一个 iOS 改动，对 Claude 也是这样。

Claude 可以像一个人或一个 QA 工程师那样测整个 app。web 改动让它用 Claude Chrome 扩展，移动端用 iOS 或 Android 的 MCP，桌面端用 computer use，后端改动就在本地把服务跑起来。

要把“怎么启模拟器、怎么跑 app”固定下来，就写一个叫 verify 的 skill：放在仓库的 `.claude/skills/` 目录里，尽量靠近相关代码，需要几个就加几个。Claude 知道在提交改动之前先用这个 verify skill。

然后是投入，让它**快且可靠**：让 Claude 自己迭代这个 skill、对它做压力测试。它是你的冒烟测试台，你希望它稳如磐石。

一旦你给 Claude 一条端到端冒烟测试自己的改动的路，结果会好很多。你会看到它像人一样反复迭代、更快地抓到真实错误。Anthropic 几乎所有改动都是这么测的。

### 失败的测试需要人来接手

没人能读得完每一个改动，所以我们把“失败”当作“该由人来看”的一种判据。Claude 跑检查，并尝试修掉任何失败项；如果一项检查在三轮之后仍然失败，Claude 就停下来，把人叫进来。

### 代码的所有者自己写检查

谁拥有这段代码，谁就给这段代码写检查，并且一直调到“它标出来的问题，就是所有者本人会标出来的那些”。当一个检查把评审者拉进来时，它应当说明**为什么**要拉人，而不是让人从 diff 里自己推。

### 可靠性检查按 diff 触发

我们维护一份可靠性清单，共 **39 项**，每一项都带一个可以从 diff 里读出来的触发条件、一个检查，以及它背后的那些事故或 PR。其中一条是“`--resume` 要能加载旧的 transcript”。当会话存储或消息类型发生变化时，我们就问：新增的字段能不能安全加载，因为更早的 transcript 里没有这个字段。

Claude 读 diff，只检查触发条件命中的那些项——通常是 **3 到 10 项**——于是没有人需要靠背下过去的事故来兜底。

### 一个评审者，多轮

我们不靠“堆更多评审者”来改善评审。在主评审之上再叠一个更贵的评审者，往往比把主评审调好更糟。取而代之，我们用一个 REVIEW.md 来说明这次改动里评审者该重点关注什么。

我们也认为评审轮次和验证轮次应该**互相叠加**：每一轮都指向前面几轮的上下文和历史失败，而不是从头把所有东西再查一遍。这更便宜，而且能发现更多。

### 改动不能修改自己的检查

如果一个改动能修改那个评判它的检查，这个检查就是坏的。Code Review 读取的 [REVIEW.md](https://code.claude.com/docs/en/code-review-customize?ref=hubwiz.com)来自基线分支或默认分支，[永远不会来自这个 PR 自身的改动](https://code.claude.com/docs/en/code-review-customize?ref=hubwiz.com)。Claude Code 团队确保“把关改动的那些规则”处在一个改动自己动不了的分支上。

Claude Code 团队还把评审绑定在 **commit** 上。如果有人在你评审的同时还在推新提交，这次评审结果就没用了——一个针对过期 commit 的“通过”毫无意义。

团队也坚持先跑便宜的检查。如果一个 agent 在本地测试之前就推送，它就花掉了共享的评审与 CI 时间，而那个 bug 本来是它可以自己抓到的。在我们团队，Claude 会在开 PR 之前先跑测试、构建和 linter。你可以用一个 [hook](https://code.claude.com/docs/en/hooks?ref=hubwiz.com) 强制这点——在 Claude 完成时自动跑测试；也可以设一个 [目标（goal）](https://code.claude.com/docs/en/goal?ref=hubwiz.com)：测试套件通过。

### 新闸门先从观察模式开始

在我们自己的仓库里，每个 commit 都会打上“它是怎么被验证的”标记。这个标记甚至包含“none”，这样我们可以查询“哪些提交根本没有被验证”。

我们还做了一个提交闸门：如果这次会话里没有出现 `/code-review` 或 `/verify`，它可以拦下这次提交。这个闸门有三种模式：关闭、观察、强制。

观察模式只记录“本来会被拦下什么”，这样我们可以检查有没有误判，确保没有任何人受影响。

强制模式会真的拦下提交。任何提交都可以在提交信息里解释“为什么它没有被验证”。如果一次会话里提交已经被拦了两次，下一次就放行，避免 Claude 卡死——Claude Code 并不完美。

### 用真正要紧的东西检验你的检查

Claude Code 团队还定期评审“评审者”本身。我们跟踪：合并后被回滚的改动有多少、维护者在合并前拒掉的改动有多少，以及一个规模匹配的对照组——那些合并后一直保持干净的改动。

这件事也可以用一套正式的评测来做。在我们的[代码评审那篇文章](https://claude.dev/blog/solving-code-review-at-anthropic/?ref=hubwiz.com)里，我们介绍过 Code Review 团队如何基于历史事故与回滚搭出一套评测：为每个样例把仓库还原到评审当时的状态，并给出一句话的答案要点——那个 bug 到底是什么。只有正确描述出该 bug 的发现才得分。他们用“已合并且稳定”的改动做对照组，防止系统滥标。用于调参（tuning）的集合与他们用来评测系统的固定测试集是分开的。

他们还分别评估了三个阶段各自的召回率——原始发现、验证之后、最终评审之后。这样能看出系统有没有把**它自己已经找到的** bug 弄丢。任何把这些阶段压成一个端到端总分的评测，都抓不到这个差别。

除了“发现是否成立”，我们关心的另一个维度是：这个改动的**重要性**。一个好评审者能抓到大部分技术上成立的问题，但人真正关心的是——这个 bug 是必须修（must-fix）、应该修（should-fix），还是吹毛求疵（nit）。

Code Review 就有这个概念，它会把问题标成 [Important、Nit 或 Pre-existing](https://code.claude.com/docs/en/code-review-pull-requests?ref=hubwiz.com)。“pre-existing”这个标签的意思是：这本来就是 bug，评审者不应该拿它去问责这次的作者。

最后，Claude Code 团队会把召回率调到某个点就停——再往上调，收益就是对评测集过拟合，而不是真的抓到 bug。

### 把漏掉的变成规则

在 Claude Code 仓库里，我们有两种把“漏掉的案例”变成规则的方法。第一种：从人的代码评审评论和 PR 回滚里提取模式，找出共性问题。这些模式必须在至少两个 PR 里出现过、并且能从 diff 里识别出来，才算一条候选规则。然后会有三个 agent 试着反驳它，最后由人通过一个 PR 审核并批准。

第二种方法：拿一个与已知事故关联的 PR，让三个“bug 查找器”重跑一遍。如果至少两个找到了那个 bug，说明它是“可检出的 bug”；如果在一个小 diff 上仍然被漏掉，这就是一个值得写进 REVIEW.md 的缺口。

flaky 测试也是同样的处理方式。Claude 不许跳过它们、不许加 sleep，也不许“一直重试到通过”。如果找不到根因，就删掉这个测试，并写下为什么删。

规则本身也需要清理。测试套件、验证步骤和 .md 文件，你不清理就只会越长越多，所以我们会例行收拾。

## 三、好测试，好结果

我们发现，给 agent 一条“用强反馈循环验证自己工作”的路，结果完全不一样。把你的验证层当成任何一个正经系统来对待：让它处在被它评判的那些改动的**够不到**的地方；用你真正在意的那批 bug 去给它打分；它漏了东西就写下教训，让这件事不会发生第二次；并且定期修剪这些教训，让它们依然值得执行。

做到这些之后，你的工作就从“读每一个 diff”变成“定义什么叫做完（done），并审核证据”——而正是这一点，让你能同时跑很多个 Claude。

![图 2（原文文末附图）：一张 Pangram 的检测结果截图，标题“Fully Human-Written”，进度条全绿，下方标注 AI 0%、AI-assisted 0%、Human 100%，并写着“Analysis by Pangram suggests that this text was written by a human.”](https://www.hubwiz.com/blog/content/images/2026/11/verif-fig2.jpg)

## 我们的整理：把这套做法落成一张自检表

原文的做法散在十来个“我们这么做”的段落里，压成一张表更好落地：

| 做法          | 原文里的具体形态                              | 它解决的问题       | 你自己落地时的最小实现                      |
| ----------- | ------------------------------------- | ------------ | -------------------------------- |
| 验证靠跑，不靠读    | verify skill：启动、驱动、检查真实系统             | 单元测试全绿但功能坏   | 一个能一键把 app 跑起来的脚本，失败时留下截图或 trace |
| 失败的检查才找人    | 三轮仍失败 → 升级给人                          | 没人读得完每个改动    | 定一个“轮数上限”，到点必须叫人                 |
| 检查跟随所有权     | 代码所有者写检查并调到“标的就是他会标的”                 | 检查与责任脱节      | 谁 oncall，谁写这份检查                  |
| 清单按 diff 触发 | 39 项，命中通常 3–10 项                      | 靠人背历史事故      | 每条检查写一句“什么 diff 会触发我”            |
| 调主评审，不叠评审   | REVIEW.md 指明本次该看什么                    | 加人只加成本       | 把“这次要盯什么”写进仓库里的文件                |
| 检查够不到被检查的改动 | REVIEW.md 从基线分支读，不从 PR 读              | 改动可以给自己放行    | 判据放默认分支，PR 里改不了                  |
| 便宜检查在前      | 测试、构建、linter 在开 PR 前跑                 | 占共享 CI 与评审时间 | 完成后自动跑一遍，红了就别开 PR                |
| 闸门先观察后强制    | off / observe / enforce               | 新规则误伤        | 先只记录“本会拦下什么”，看两周                 |
| 评自己，而不只评代码  | 回滚率、被拒率、规模匹配的干净对照                     | 不知道检查本身准不准   | 至少跟踪“合并后被回退的比例”                  |
| 漏掉的要变成规则    | 两次以上 + 可从 diff 识别 + 三个 agent 反驳 + 人批准 | 同类问题反复付费     | 同一个 bug 出现第二次就写进检查清单             |

三条比原文更硬的判据，可以直接拿去问自己的流水线：

1. **说不出这条检查会漏什么，它就不算检查。** 原文的“分别评估原始发现 / 验证后 / 最终评审的召回率”本质就是这个要求——一个总分说明不了它在哪一层丢东西。
2. **被检查的改动能改检查，则整条链的结论为零。** 这是原文里最容易被忽略、也最容易在自己仓库里犯的一条：把规则文件放在同一个 PR 里改，等于自己给自己打分。
3. **闸门先观察。** 任何新加的拦截规则，先只看“本会拦下什么”，确认没有误判再打开强制——原文的 enforce 模式还留了“同一会话被拦两次就放行”的出口，说明他们也没指望闸门永远不错。

**边界与披露**

- 本文完整翻译 Addy Osmani 于 2026-11-17 发布的 X 文章《How the Claude Code team thinks about verification》，正文按原文顺序逐段对应，未删减章节；两处加粗小标题（三种测试、以及第二节里的各个做法）在中文版里提升为小标题，仅为阅读层级，未增删内容。
- 封面为图库实拍（Unsplash，平板手写勾选清单），原文封面是纯文字标题卡，按本站规范不用标题卡做封面。
- 原文全文是第一人称的团队自述：**没有给出完整评测方法、没有样本量、没有对照组以外的统计口径**，文中“最多提升 10 个百分点”“39 项”“通常 3–10 项”“三轮”等数字均为作者转述的内部实践，我们未做独立核实，按“作者主张”处理。
- 原文中的产品与文档链接保留原样（Claude 官方博客、code.claude.com 文档、属性测试库），它们指向的是原文自己引用的依据，不是我们的推荐。
- 文末那张 Pangram 截图是原文自带的配图，原样保留，未做解读。
- 标为“我们的整理”的表格与三条判据是我们加的，不属于原文。
- 本文由汇智网（hubwiz.com）编译整理，转载请注明出处。

**同主题阅读**

- [Claude Code 团队怎么做代码评审：7 层防线，把人工时间压到最低](https://www.hubwiz.com/blog/claude-code-team-code-review/)
- [AI 写的代码越多，审查越像盖章：你不再审，只在盼](https://www.hubwiz.com/blog/critical-thinking-when-agents-do-the-work/)
- [Agent 老是散架？该修的是 harness，不是提示词](https://www.hubwiz.com/blog/harness-engineering-agent-guide-lunar/)
- [AI 编程 / Vibe Coding 完全指南](https://www.hubwiz.com/blog/vibe-coding-stack/)

**来源**

- 原文：Addy Osmani，《How the Claude Code team thinks about verification》，X Article，2026-11-17：[https://x.com/i/article/2122515769007435776](https://x.com/i/article/2122515769007435776?ref=hubwiz.com)（帖文：[https://x.com/addyosmani/status/2122590683055993308](https://x.com/addyosmani/status/2122590683055993308?ref=hubwiz.com)）
- 文中提及的团队前作：《Solving code review at Anthropic》[https://claude.dev/blog/solving-code-review-at-anthropic/](https://claude.dev/blog/solving-code-review-at-anthropic/?ref=hubwiz.com)；《Building verification loops in Claude Code with skills》[https://claude.com/blog/building-verification-loops-in-claude-code-with-skills](https://claude.com/blog/building-verification-loops-in-claude-code-with-skills?ref=hubwiz.com)
- 相关文档：Code Review 自定义（REVIEW.md）[https://code.claude.com/docs/en/code-review-customize](https://code.claude.com/docs/en/code-review-customize?ref=hubwiz.com)、hooks [https://code.claude.com/docs/en/hooks](https://code.claude.com/docs/en/hooks?ref=hubwiz.com)、goal [https://code.claude.com/docs/en/goal](https://code.claude.com/docs/en/goal?ref=hubwiz.com)

> **这是「AI 编程 / Vibe Coding」专题的一部分。**完整地图见：[AI 编程 / Vibe Coding 完全指南](https://www.hubwiz.com/blog/vibe-coding-stack/)