> ## Content Index
> Fetch the complete content index at: https://www.hubwiz.com/blog/llms.txt
> Use this file to discover other available public pages before exploring further.

# Agent 答错了，健康检查全绿：定位故障只认引用，不认置信度
- URL: https://www.hubwiz.com/blog/agent-silent-failure-citation-not-confidence/
- Published: 2026-11-14T13:27:51.000Z
- Updated: 2026-11-14T13:27:51.000Z
- Description: 从外面看，这四类失败几乎一样。要分清，只能把失败轨迹和产生它的那份代码修订放在一起读——所以 AQuA 的 schema 里干脆没有「置信度」这个字段。
- Author: admin
- Tags: AI Agent, 可观测性, 评测, 生产运维, Google

你的 agent 返回 HTTP 200，延迟在预算内，没有一个工具调用报错。然后它把 3A 记成"已确认"，却从没问过选座子 agent 3A 到底空不空；或者给一位资料里写着素食的旅客，推荐了一家佛罗伦萨牛排馆。

这就是 Google 在那篇博文开头举的两个例子。**基础设施全绿，故障发生在对话里面。**

Google 的估算是：把 agent 做到第一个 80%（能处理你想得到的测试用例）现在很快，几天就够；剩下那 20% 难，是因为上线之后地基在动——用户在发现自己能干什么，真实流量越来越不像你的评测集；而下层的模型、harness、工具、skill 也都在换版本，健康检查照样绿。

他们把这段称作"外层循环"（outer loop），把工具开源了：**AQuA（Ambient Quality Agent）**，2026-10-08 发布，可组合的参考实现。这篇文章的内容来自 Google 官方博文与 InfoQ 11-13 的报道，最后两节是我们的整理。

## 一、从外面看，四种失败长得几乎一样

| 失败层        | 典型现象                  | 谁该修                   |
| ---------- | --------------------- | --------------------- |
| 模型         | 编了个参数；三轮前说过的约束掉了      | prompt / 模型选型 / 上下文管理 |
| 编排 harness | 路由到错的子 agent；轮次之间状态丢了 | 编排代码                  |
| 工具契约       | 输入被拒，因为合法值从没写进 schema | 工具定义 + 文档             |
| 指令 / skill | 少写了一条谁都没想到要写的规则       | goal.md / 指令文件        |

裸轨迹告诉你"什么接在什么后面"，不告诉你"什么导致了什么"。要分清这四层，必须把失败轨迹和**产生它的那份确切代码修订**放在一起读。

线上评测看板只告诉你分数动了；coding agent 能读轨迹，但你得先知道往哪看。而按生产量，没人能逐条人肉读完全部会话。

## 二、AQuA 站在哪：不在请求路径上，不写回你的 agent

它跑在你的 Google Cloud 项目里，和你部署的 agent 并肩，读的是 Cloud Trace、Cloud Logging 或 BigQuery 里的生产轨迹；会话原文、源码快照、BigQuery 表都不出项目边界。

三个触发姿势：**定时扫、每次部署后扫、按需扫**。它不进请求路径，也不往你的 agent 里写任何东西——这一点决定了它可以一直开着。

Figure 4 是它的侧车结构，Figure 5 是下面这条流水线：

![AQuA 以侧车方式运行在你的项目里，读轨迹和部署时的源码快照，不在请求路径上](https://www.hubwiz.com/blog/content/images/2026/11/img_6d1b8a0f2655132bf5bd2f4582040c03-800.jpg)

（图源：Google Developers Blog，下同。）

## 三、五段流水线：抽样 → 打分 → 聚类 → 验证 → 跟踪

![五段流水线：抽样、评审、聚类、验证，根因诊断按需对部署快照执行](https://www.hubwiz.com/blog/content/images/2026/11/img_4a7c1229380de84cc0246bfe5f0c1892-800.jpg)

| 阶段      | 做什么                                                              | 硬上限                                        |
| ------- | ---------------------------------------------------------------- | ------------------------------------------ |
| Sample  | 从遥测里随机抽最近会话                                                      | **每次最多 1,000 条**（控制单次成本）                   |
| Review  | 按 **9 点清单**逐条打分（流程、工具选择与参数、接地、任务完成等），失败就写一条 actual / expected 记录 | 每会话 1 次模型调用（单遍 judge）                      |
| Cluster | 把同一失败机制的记录聚成候选簇                                                  | —                                          |
| Verify  | 另一个模型拿**最多 3 份完整对话**核对每个候选簇，证据不足就丢掉                              | **每轮最多验 50 个簇**                            |
| Track   | 与 BigQuery 里未关闭的洞察比对                                             | 标记 NEW / RECURRING，**14 天没再出现自动 RESOLVED** |

两个可配置的地方决定它对你这个域有用没有：

- **`goal.md`**：一段大白话的业务不变量，追加到每次评审 prompt 后面。官方给的例子明确写了"忽略语气、问候、闲聊"，也明确要求"每条结论必须引用具体某一轮里 agent 或子 agent 违背指令/工具状态的证据"。
- `**eval_config.yaml**`：确定性的 Python 自定义指标，和 judge 并行跑，用来看通过率趋势。默认用单遍 `session_review` judge（省钱），也可以开 Gemini 平台的托管 AutoRaters（`task_success` / `tool_use_quality` / `trajectory_quality`）。

想象成一个初级质量工程师上夜班：先读对话、把噪音滤掉、把带证据的卷宗准备好，交给轮到值班的人。

## 四、根因阶段：一个洞察的价值是它的引用

当某条洞察值得查，你从看板的 Chat 或 `agents-cli aqua run` 触发根因分析。它读失败轨迹 + **部署时抓到的那份不可变源码快照**：

- 缺陷在仓库里 → 它给出 `<path>:<start>-<end>` 的行号区间，并给出锚定到快照行上的修改建议；
- 缺陷在代码外（上游依赖、交接、检索回来的载荷）→ 它把失败归因到轨迹里的那一步，**不给代码 diff**；
- 它**从不自己应用修改、从不自己开 PR**。

引用是被服务端校验的：指向不存在的文件或行号，直接拒。博文里那句话值得抄下来：

> An insight is its citations, not a self-reported confidence score.

**schema 里根本没有 confidence 字段。**

一个闭环长这样（官方给出的命令行）：

```bash
# 1. 拉出影响 ≥10 个会话、还没做根因的洞察
agents-cli aqua list-insights --status NEW --root-cause false \
  | jq -r '.insights | sort_by(-.trace_count) | .[] | select(.trace_count >= 10) | "\(.insight_id)  \(.label)"'

# 2. 无头触发根因，拿回锚定修改 + 证据轨迹
agents-cli aqua run 'Diagnose insight 220d9209e27d4e16a73b4ad4741caa81. What is the root cause, and how would you fix it?'
agents-cli aqua get-insight 220d9209e27d4e16a73b4ad4741caa81 > insight.json

# 3. 把失败会话里的用户轮次抽成回放文件，本地复现
jq '{state: {}, queries: [.occurrences[0].rubrics[0].trace[] | select(.role == "user") | .content]}' \
  insight.json > ./b4b38471-inputs.json
adk run --replay ./b4b38471-inputs.json travel_concierge

```

## 五、它排在你已有的四套东西之间

Google 把 agent 质量工具分成四块，分界线很值得记：

| 手段             | 管什么                             | 什么时候跑         |
| -------------- | ------------------------------- | ------------- |
| 离线评测           | 候选构建对已知用例                       | 发布前           |
| 在线评测           | 通过率的趋势                          | 发布后持续         |
| 编码 agent / 优化器 | 改 prompt、改代码                    | 有人去改的时候       |
| **AQuA**       | 把原始生产流量变成**带代码锚点的洞察 + 归档的失败轨迹** | 定时 / 部署后 / 按需 |

它不取代前三者，它的产出是**下一轮离线评测的种子**。这就是为什么它把自己定位成“外层循环”：内层（跑、评、改、比）你已经有了，外层没人管。

### 5.1 `goal.md` 怎么写才管用

官方给的例子只做两件事：说清什么叫对，以及明确允许忽略什么。

```text
Goal: Help travelers move from trip inspiration to a concrete itinerary and confirmed
bookings across our sub-agents, with every confirmed flight, hotel, seat, and
recommendation grounded in tool results and the traveler's profile.
Failure modes to make sure we cover:
- Mid-conversation changes: if a user updates destination, dates, or flight/hotel
  choices after an initial plan, make sure subsequent sub-agent tool calls and
  state updates reflect the change.
- Dropped context when handing off or delegating across inspiration_agent,
  planning_agent, and booking_agent.
Ignore: tone, greetings, small talk, or sessions where the user browses options.

```

两个细节容易被当成不起眼：**明确列出你已知的失败模式**（把评审往你的痛点上引），以及**明确写忽略什么**（不写就会拿风格问题塿满队列）。

## 六、跑这么一轮要多少钱（这是最容易被忽略的一段）

官方把账算得很细，三种规模：

| 场景                                                      | 输入 / 输出 token                                       | 单次成本            | 折算            |
| ------------------------------------------------------- | --------------------------------------------------- | --------------- | ------------- |
| 96 会话、单 agent（约 5–6 span/会话）                            | 220,841 / 48,736                                    | **$0.70**       | **$0.007/会话** |
| 32 会话、多 agent travel-concierge（1,583 span，约 50 span/会话） | 评审+聚类 1,635,197 / 128,740；9 次簇验证 1,131,937 / 36,976 | **$3.76**       | **$0.12/会话**  |
| 单条洞察的根因诊断（按需，Gemini 3.8 Flash）                          | 取决于拉几条完整轨迹                                          | **$0.33–$2.47** | 每条洞察          |

关键在于"深度评审一条多轮轨迹，比查一个 HTTP 状态码贵几个数量级"，所以他们的取舍是**随机抽样 + 硬上限**：1,000 条会话、50 个簇、每簇 3 份对话。这换来的是"成本可预测"，代价写在后文的边界里。

## 七、那轮真实的效果：32 条会话，6 个已验证问题

用 Google 自己的 `travel-concierge`（多子 agent：灵感、地点、POI、行程、航班搜索、选座、预订，加上行前/行中/行后）：

1. 32 条会话 → 42 条 finding → 9 个候选簇 → 验证器拒了 3 个无证据的 → **6 个已验证问题**；
2. 其中两个最扎眼：**跳过选座可用性检查**、**在交接时把旅客的素食偏好弄丢**；
3. 改了两行 prompt（`planning/prompt.py:93`、`inspiration/prompt.py:23`），部署 Revision 2，同一批 32 条会话重放：

| 指标       | 修前   | 修后        |
| -------- | ---- | --------- |
| 跳过选座的会话  | 15   | 2（边缘用例）   |
| 丢素食偏好的会话 | 7    | **0**     |
| 全项通过的会话  | 5/32 | **13/32** |

还没动的那 5 条 `poi_agent`（`tools=[]`）缺陷，仍然挂在队列里被跟踪——**这就是"跟踪"阶段的意义：没修的不会自己消失。**

要注意：**以上数字来自受控重放，不是生产流量。**

## 八、为什么它比"打个分"可信

三个设计决定，都是冲着"别让假的看起来像真的"：

1. **簇在验证前只是"主张"。** 每个候选簇最多拿 3 份完整对话抽检，通过了才进队列。在一次 87 条轨迹的内部基准上，验证器把 24 个候选簇里的 4 个拒掉了。它的 trace\_count 只用来排优先级，不等于"簇里每一条都验证过"。
2. **没有置信度，只有引用。** 每条 occur 都链回 Cloud Trace 的会话 ID；每个根因都引用 `path:start-end` 并被服务端对快照校验；编造的引用会被拒。
3. **被丢弃的东西也要留痕。** 被验证器拒的簇、超过 50 上限没验的簇、rubric 报错、空窗口或抓不到轨迹的窗口，都显式记在 run 记录上，而不是算成"这次很干净"。点过 Dismiss 的行为，后续轮次也不会再当 NEW 冒出来。

## 九、五条边界（Google 自己写的）

| 边界              | 这意味着什么                                                                 |
| --------------- | ---------------------------------------------------------------------- |
| 只抽样，不看全量        | 罕见失败会漏。**最难的场景**：一条只影响 1% 关键工作流的静默回归，结构性信号全都正常，而每天 5 万条会话不可能全跑深度 judge |
| 静态重放不重建外部状态     | 数据库那行改了、API 超时了、第 3 轮依赖第 2 轮说过的话——重发静态轮次会跑偏                            |
| 长轨迹/上下文压缩未解决    | 十轮对话可以整包塞进去；几百轮、几 MB 工具输出的编码/研究 agent 不行，需要语义压缩到子任务里程碑                 |
| judge 与领域专家的一致性 | goal.md 和自定义指标只把方向拨对，让模型裁判和 SME 一致仍是真工程                                |
| 平台层能复用的粒度       | Google 自己的结论：底层原语（轨迹/反馈摄入、核心评估器、数据集管理）能共享；**外层工作流往往是每个产品定制的**          |

## 十、我们的整理

### 10.1 五类失败，先分责任再谈修

上面那张表可以直接当排障顺序用：**先看工具契约（最低成本）、再看编排状态、再看指令缺口、最后才怀疑模型。** 因为前三类改一次就永久生效，改 prompt 常常只是把问题推到下一条轨迹上。

我们 11-03 那篇[《AI 写的代码越多，审查越像盖章》](https://www.hubwiz.com/blog/critical-thinking-when-agents-do-the-work/) 讲的是人这一侧的卸载，这里补的是机器这一侧的卸载：**"看起来跑完了"和"做对了"之间的差，正好是这四层。**

### 10.2 三条判据：什么样的结论值得动手

- **带引用才能进队列。** 没有 `文件:行号` 或会话 ID 的结论，一律当假设。我们自己写 agent 报告时也该守这条：凡是"我觉得是因为…"，必须能点开一条轨迹。
- **验证器比生成器重要。** AQuA 把便宜模型放在生成侧（聚类）、把账花在验证侧（每簇 3 份完整对话）。这跟我们 10-18 那篇[《默认模型是没锁的依赖：15 天三变，评测怎么记》](https://www.hubwiz.com/blog/agent-model-pinning-eval-drift/) 是同一个结论的两种说法：**评测里最贵的不是打分，是防止假阳性。**
- **修完要能重放。** 只有"改完 → 同一批会话重放 → 数字变化"才算闭环。我们 10-22 那篇[《Agent 上线复盘：重启失忆、重复退款、超时当失败》](https://www.hubwiz.com/blog/agent-restart-replay-idempotency-retro/) 里那三条，就是没有重放所以反复回来的典型。

### 10.3 落到我们自己的 harness 上，三步

1. **写一份 `goal.md` 等价物**：每个 agent 项目的"业务不变量 + 忽略清单"，放在仓库里，评审时追加。这比写更多 prompt 划算。
2. **把失败会话落成 replay 文件**：`adk run --replay` 那套我们不一定用，但"输入 → 工具返回 → 期望输出"三件套要存。参考我们已有的[《Agent 上线复盘》](https://www.hubwiz.com/blog/agent-restart-replay-idempotency-retro/)。
3. **只接受带引用的结论**，包括人写的复盘。

## 十一、可以照做的三步

如果你手上有正在跑生产的 agent：

1. **今天**：把"infra 全绿 + 用户说不对"的会话捞 30 条出来，人工标一遍属于上面哪一层——先验证这张表对不对。
2. **本周**：给每条会话补一个 `runId`，把工具调用、重试、人工介入时长挂上去（AQuA 的 run 记录结构可以照抄字段名）。
3. **下次改动前**：先把这批会话存成 replay 输入，改完重放，用"全项通过数"而不是"看起来顺了"来判定。

本文由 Software 2.0 编译整理，转载请注明出处。

**Sources**

- 原文：Dima Melnyk、Elia Secchi《The Outer Loop, Insights First: An Ambient Quality Agent That Diagnoses Your Production Agent》，Google Developers Blog，2026-10-08 [https://developers.googleblog.com/en/the-outer-loop-insights-first-an-ambient-quality-agent-that-diagnoses-your-production-agent/](https://developers.googleblog.com/en/the-outer-loop-insights-first-an-ambient-quality-agent-that-diagnoses-your-production-agent/?ref=hubwiz.com)
- 报道：Leela Kumili《Google Open Sources Ambient Quality Agent (AQuA) to Diagnose Production AI Agent Failures》，InfoQ，2026-11-13 [https://www.infoq.com/news/2026/11/google-ambient-agent-prod/](https://www.infoq.com/news/2026/11/google-ambient-agent-prod/?ref=hubwiz.com)

**同主题阅读**

- [AI SRE 现在能做什么：查故障更快，但没人敢让它动生产](https://www.hubwiz.com/blog/ai-sre-investigation-agent-oncall/)
- [Agent 老是散架？该修的是 harness，不是提示词](https://www.hubwiz.com/blog/harness-engineering-agent-guide-lunar/)
- [Agent 上线复盘：重启失忆、重复退款、超时当失败](https://www.hubwiz.com/blog/agent-restart-replay-idempotency-retro/)

参考支柱：[Agent / MCP / 自动化](https://www.hubwiz.com/blog/agent-stack/)、[AI 基建 / 评测 / 安全](https://www.hubwiz.com/blog/ai-infra-stack/)。