12,500 名开发者、几百个 agent:治理不写在提示词里

几百个 agent、上万名开发者,治理靠三件事:按步骤给信任级别、按三层组合各过一道 CI、把规则写成 agent 改不动的代码。

分享
12,500 名开发者、几百个 agent:治理不写在提示词里

当几百个 agent 服务几千名开发者时,企业治理不可能是事后补的。

宝马集团研发部门有 12,500 多名开发者,维护约 5 亿行车载软件代码。这套软件由宝马的 Connected Vehicle 后端增强——一个云上的系统,包含 1,300 多个微服务,为路上行驶的 2,400 万辆汽车提供数字服务。在受监管行业里,对(软件)质量、稳定性和治理合规的要求高得异乎寻常。

如今已有一批研究、框架与指南能帮人建 agent,但要以高效、可扩展的方式把高质量 agent 工业化地做出来并长期运维,仍是个大难题。

在一家大型组织里把 agentic AI 铺开,靠孤立的团队做不到。它需要集体投入、本土驱动的实验,以及跨企业主动的知识共享。这就带来一个根本性的治理两难:开发团队需要快速创新的自由,而企业必须对安全、保密、可组合性与成本效率强制统一标准。没有这个平衡,组织就会面临一片碎片化的 AI 孤岛和昂贵的重复建设。考虑到宝马有几百支全球分布的团队在建 agent,这是真问题。

本文详细讲我们用什么做法和模式,帮助宝马研发团队在不牺牲速度、质量与合规的前提下,规模化地构建、治理与运维 agent。

方案

我们的前提很直接:从一开始就建能互相协作的 agent。这需要一套让多样性可组合、可治理、可自动化的架构,并且不强制绑定某一个框架或工具链。

这套架构的中心是 agent harness——包在大模型外面的一层运行时。它提供执行循环、工具派发、记忆管理和可观测性钩子,支撑自主运行。

就像 AWS Well-Architected Framework 把云基础设施的设计标准化了一样,agentic 系统也需要等价的东西:可复用的蓝图,从一开始就把治理、可组合性和运维最佳实践编码进去。

我们把方案组织成五项互相咬合的实践,来自 2023 年以来在企业规模上亲手构建并运维 agentic 系统的经验。每一项实践都被写成基础设施即代码(IaC),从而在各团队之间可重复、可审计、可强制,同时不拖慢 DevOps 的节奏。

主动治理,而不是事后追查

治理必须从第一天起就是结构性的,并在全生命周期中维持。我们主张有效 agent 治理具备三个性质:

与框架无关、外部化。 鉴权、授权、限流、内容过滤这类治理规则,在集成层强制执行——包括 Model Context Protocol(MCP)网关、集中的 agent 注册表和编排边界,而不是写在各个 agent 的代码库里。这意味着治理能扛住框架迁移、模型更换和团队重组。

按域分级。 不是每个 agent 动作的风险都一样:草拟文档、更新客户记录、写生产数据库,所需的监督级别差别巨大。我们用"每步自治等级"来实现渐进信任:

  • 等级 0(Human-in-the-loop,人在环内): 每个动作都需要人明确批准。这是新 agent 与高风险操作的起点。
  • 等级 1(Human-on-the-loop,人在环上): agent 自主执行,但把决策浮现出来供人异步复核。适合输入、输出和回滚路径都已定义的中等风险任务。
  • 等级 2(护栏内自治): agent 在严格定义的策略边界内独立运行,边界由确定性方式强制,而不是靠提示词里的一句话(见下)。只留给低风险、已被充分理解、有验证过履历的操作。

信任级别按步骤给,不按 agent 给。 同一套工作流里可以同时存在三个等级的步骤,团队就能从保守起步、随着信心建立逐步提高自治程度——而且依据是可度量的评测数据,不是假设。

确定性强制执行。 治理以确定性代码的形式运行在 agent 的推理循环之外。实践上这主要发生在 CI/CD 流水线里:权限检查、策略即代码规则、合规校验在 agent 抵达生产之前把住每一次部署。因为这些检查与 agent 分离运行,agent 及其提示词都没有位置去覆盖它们。出口控制(收件人白名单、对外密钥扫描)则防止一个持有机密数据的 agent 借着一次看起来合法的调用把数据泄露出去。

持续埋点、验证与评测

agentic 系统里的可观测性超出了传统应用监控。真正的问题不再是"某个服务是否返回了 HTTP 200",而是"agent 是否产出了忠实、合规的输出",以及"这件事能否通过可观测的执行轨迹被证明"。要回答它,就需要一份覆盖常见查询与边界情况的 ground truth 数据集。这份数据集从第一天起就用于评测,所以质量是拿有代表性、且治理得当的评测集来量的,不是拿合成提示词量的。

这套基础设施无法事后加装,必须是初始设计的一部分。CI/CD 流水线负责强制执行:缺少埋点的 agent 在评测跑起来之前就会验证失败。

我们建议在三个维度上埋点:

  • 意图追踪: 捕获每次执行中可观测的 agent 轨迹(推理步骤、工具调用、上下文检索)。OpenTelemetry span 建立一条从用户请求到最终输出、可查询的链路。
  • 把验证与评测做成 CI: agent 的任何改动(改提示词、加工具、换模型)都触发流水线。验证先跑,用自动化回归测试覆盖 agent 的各个组件、再覆盖它们之间的交互。由于 harness 的大部分组件是确定性的,这些测试很快,且完全可自动化。评测后跑,拿非确定性的输出对 ground truth 数据集打分,并以质量阈值为闸门。这个顺序是刻意的:验证是闸门,评测只在通过的构建上跑。
  • 模型分层与路由遥测: 当 agent 在多个模型之间路由时,记录路由决策及其理由,而不只是结果。层级划分由按任务类型的评测结果推导,坏结果回流成新的评测用例。

起步聚焦,为组合而设计

对分布式云系统,业界是靠微服务、服务网格这类架构模式解决了端到端工作流的复杂度。agentic 系统的演进也需要类似的轨迹:从单体式、通才型 agent,走向多个协作的专用 agent。

团队应当先定义问题,再考虑 agent 的功能。在写任何编排逻辑之前,先产出五份具体材料:

  1. 清晰的边界定义: agent 该做什么、不该做什么。
  2. 交互模型: 用户和其他 agent 如何调用它。
  3. 无歧义的工具定义: 每个工具、每个参数都精确定义。
  4. ground truth 数据集: 即上文说的评测基准,在任何实现开始前就建好。
  5. 评测标准: agent 将被用来衡量的质量阈值与基准。

这条纪律能挡住我们见到的最常见失败模式:承担了太多职责的 agent 会积累臃肿的提示词,准确率下降、延迟上升。

单个 agent 界定清楚之后,必须把它设计成可组合的积木。因此我们定义三层组合层级:

  • MCP 工具是原子的集成契约。每个工具包住单一能力(例如一次 API 调用或一次数据库查询),不编码工作流假设。这是稳定、可复用的那一层。
  • Skill 是领域相关的、由 MCP 工具打包成的组合。举例来说,一个代码评审 skill 可能把静态分析工具、风格检查工具和一个基于 LLM 的推理步骤串起来。Skill 编码领域逻辑,但保持跨工作流可移植。
  • Flow 是 skill 的端到端编排,代表完整的业务流程(例如整条 PR 评审流水线,或从需求到部署的整个周期)。

每一层都在 CI/CD 流水线里独立验证。组件测试覆盖工具与 skill,交互测试覆盖它们组合成 flow 之后的行为。

这些层之间用开放标准连接:工具集成用 MCP 与 Agent Skills,agent 之间的通信用 A2A 协议,跨这些交互的可观测性用 OpenTelemetry。

图 1 展示了三层如何层层搭建:底部是单个 MCP 工具,顶部是完整的 flow。

图 1:构建可组合 agent 的三层体系

图 1:构建可组合 agent 的三层体系。

边跑边专精

在生产环境里,即使边界划得很好,随着真实使用偏离设计时的假设,agent 也会退化:查询模式变了、工具选择逻辑顶不住、性能以难以预测的方式下滑。

正确的应对是把复杂 agent 拆成多个专用 agent,每个都有更清晰的指令、更简单的工具集和更聚焦的推理。收益很具体:

  • 独立演进: 更新一个需求工程 agent,不需要碰编码 agent。
  • 独立伸缩: 当边界与接口定义清晰时,单个 agent 可以独立扩容,不必重新部署或调整整个系统。
  • 影响面最小化: 一个 agent 的失败或幻觉不会级联到整条工作流。
  • 省成本: 边界窄的 agent 往往能跑在更小的模型上,推理与托管成本随之下降。

复杂度可以沿两个轴降低:

  • agent 内部: 把能力拆成 skill,因为工具和 few-shot 示例在每次调用时都要占用上下文、降低准确率、抬高成本。粒度靠实验确定:agent 很少选中的 skill 就合并,随输入表现不一致的 skill 就拆分。
  • agent 之间: 把超出某个 agent 领域的工作,用 A2A 协议委派给专用同伴,而不是扩展当前这个 agent。agent 应该在能力上长大,不是在上下文上长大。

关键在于,因为每个专用 agent 只能访问它角色所需的数据与工具,这套架构在设计上就贯彻了最小权限——这是受监管行业的合规要求。

不过要拿到这些好处,前提是 agent 能找到彼此并互操作。为了防止出现 AI 孤岛,我们维护一份 agent、工具与 skill 的集中式注册表。它同时承担四种角色:

  • 发现机制: 按构建时存入的元数据,编目可用的 agent、工具与 skill。
  • 治理关卡: 确认资产类型已被批准用于生产,并留下审计轨迹。
  • 安全关卡: 批准前跑自动化安全检查,例如提示词注入之类的问题。
  • 去重保险: 识别其他团队已维护的等价能力,避免重复建设。这项检查在注册时自动运行,在批准之前就把重复标出来。

靠代码化规模化

从管理单个 agent 转到治理一支 agent 队伍,要求把 agent 架构代码化。用 Terraform 或 AWS CloudFormation 这类基础设施即代码框架,团队以管理任何生产系统的严谨程度来供给和管理 agent 基础设施:

  • 细粒度最小权限角色: 按 agent 或按工具划定。
  • CI/CD 流水线: 跨账号、跨区域的一致且已验证的部署,测试失败或指标恶化时自动停止发布。
  • 策略即代码: 用 AWS Config、Open Policy Agent 这类规则,扫描已部署的 agent 是否符合组织标准。

这三项都作为流水线闸门强制执行,在注册之前验证,而不是事后审计。

推广模式刻意做成"自下而上 + 中央策展"。单个团队为自己眼前的问题构建 skill 和 MCP 工具;所有团队都能通过注册表共享资产;中央团队在 CI 流水线里建自动化治理检查以维持标准。为了支持开发团队、推动左移,中央团队还以"治理即代码"模块的形式提供积木。

这个平衡同时避开了"中央强推架构"和"无人管理的实验"两个坑。结果是:当新的运维关切出现时,团队可以扩展现有模式,而不是重新设计架构。

把最佳实践贯穿 agent 全生命周期

架构模式与治理标准,只有在被嵌进团队构建与运维 agent 的实际工作流(部署前与运行时)时才真正生效。

部署之前

治理在任何一行编排逻辑写出之前就开始了。团队会拿到参考架构模式与注册表里的示例。这些预先验证过的蓝图覆盖常见 agent 配置、工具集成模式与组合结构,既加速开发,又把经过验证的默认值编码进去。在任何东西抵达生产之前,标准化的 CI/CD 控制会强制这些实践。图 2 展示一条参考流水线的四个阶段,从左到右依次执行。

图 2:四阶段 agent 部署流水线的参考模式

图 2:四阶段 agent 部署流水线的参考模式。

阶段 1 跑快速、确定性的检查:供应链安全(只允许已批准的仓库源)、组件与交互测试、评测库引用、可观测性埋点。

阶段 2 并行跑安全与治理检查。静态分析扫描代码问题,安全测试在隔离的预发环境里探测 agent。流水线还要验证出口控制与最小权限,另外两项检查确认 agent 声明的自治等级与其实际权限一致、其配置通过策略即代码规则。一个治理 agent 通过对照既定标准检查 agent 来加速审计,并把发现标记出来供人复核,例如:

  • 范围蔓延: 超出最初定义的用途或权限运行。
  • 提示词臃肿: 指令里有不必要的复杂度。
  • 工具误用: 调用工具时超出其预期用途。
  • 性能退化: 准确率、延迟或成本效率下降。

这项评估产出的是具体、可立即执行的动作,而不是抽象建议。图 3 展示了治理 agent 做 agent 成熟度评估时的仪表盘(原文此处为演示视频:ML-20698/20698-3.mp4)。治理 agent 提供证据与可执行建议,但治理决策归有责任的人;建议在实施前需要人确认,以维持问责上的四眼原则。发现项会更新注册表里该 agent 的治理状态,完整细节则单独记入中央知识库,供审计与追溯。

阶段 3 把 agent 当作运行中的系统来评:ground truth 评测闸门(拿设计时建立的基准给输出打分)与 agent 性能(延迟、token 消耗)。图 4 给出各项指标、评分标准及它们之间的关系。

图 4:评测指标总览

图 4:评测指标总览。

阶段 4 在注册 agent、子 agent、工具与 skill 之前查重。下表列出了注册表里每个 agent 存储的元数据字段。

分类 字段
核心数据 唯一标识、名称、描述、版本、业务负责人、IT 负责人
能力 名称、描述
功能清单 名称、描述、方向(提供 / 使用)
状态 规划 / 在用 / 弃用
链接 规格文档、agent card 或文档地址
托管模式 本地 / 云 / 云区域
SLA 数据 目标可用性(%)、目标 P95 响应时间(ms)、支持时段 / 运维支持模式
数据治理标记 信息密级、是否处理个人数据、保留期限 / 保留策略、是否记录请求与响应载荷、是否脱敏 PII、是否需要 human-in-the-loop(高影响 / 不可逆动作必填)

任意一步失败或指标恶化,部署就停下并留下日志供根因分析。全部通过则把 agent 打包成容器化工作负载部署,产出的一致且可复现。这挡住了未受治理的 agent 进入生产,把合规检查自动化,并让注册表保持准确。

运行之时

运行时,可观测性要抓住两类漂移。数据漂移表现为用户查询模式新增或迁移,或者上游 API 变化。模型漂移表现为错误率上升或工具选择准确率下降。当客户标记某条回答有问题时,同样要触发调查。关于漂移、分布偏移、评测分数下降或客户直接反馈的告警,会触发分级响应。这些事件被记录并转交人工复核。此外,团队可以让治理 agent 持续运行,把漂移与运维问题标记给责任团队去查。

小结

规模化构建并运维 agent 是一门工程学科,不是一次实验练习。

有效的治理必须从一开始就是结构性的、外部化的、按域分级的、并被确定性地强制执行。我们引入了三层组合体系(MCP 工具、skill、flow)作为可复用、可组合、可互操作 agent 的架构基础,再拆成专用 agent 来收敛复杂度与边界。我们说明了每一次 CI/CD 运行中的验证与评测如何把质量保证变成日常开发的一部分,以及把 agent 基础设施定义为代码如何让团队对队伍里每个 agent 施加同一套治理规则。最后,我们把这些模式贯穿了 agent 全生命周期:从预先验证的参考架构、结构化流水线,到运行时持续评估已部署 agent 的治理 agent。

我们的经验显示,这些实践在几方面带来回报:可复用的模板与共享基础设施降低了开发成本;凭借标准的交互模型与自动化部署,团队把 agent 送上生产的速度更快;质量也提升了,因为流水线在生命周期每个阶段都强制已验证的模式。

规模化 agent 治理是整个行业的当务之急。向 AI 与生成式 AI 支持的工作流自动化迁移,已经在重塑工程组织的运作方式。赢家会是从实验走向建立纪律、能大规模治理自主 agent 网络的那些。这些实践到位之后,宝马的工程师就能专注于解决真正重要的问题:造出终极驾驶机器。

要把这些想法用到你自己的 agent 上,可以从 AWS Well-Architected Framework 入手——本文正是把它当作可复用 agent 蓝图的范本。想了解宝马如何在 AWS 环境里把治理代码化,可读 How BMW Group uses automation to achieve end-to-end compliance at scale on AWS。

展望与下一步

本文描述的模式与实践是基础,不是终点。我们正从几个方向扩展它们:

  • 完善架构指引: 发布关于架构权衡、组合模式与反模式的最佳实践指南。
  • 扩充基础设施即代码模板: 把 agent 蓝图做成可直接使用的 IaC 模块,默认内置安全与治理标准。
  • 深化治理合规测试: 增加验证治理合规的 CI/CD 测试用例。
  • 自动化标准执行: 把自动化检查与托管式合规扫描规则扩展到部署前与运行时两个阶段。
  • 扩展 agentic FinOps: 治理模型与工具调用的规格适配(right-sizing)。
  • agentic 用户指引: 把上述模式接入 Archimedes——宝马的架构指引 agent——在具体情境下给出架构建议。

致谢

作者感谢(按字母序):Alexander Stark、Alexander Zimmer、Dr. Céline Laurent-Winter、Dominik Segl、Florian Seidel、Hugo Lerias、Dr. Lars Lewerenz、Mark Neumann、Ralf Bottesch、Ramona Weber、Satish Vasireddy、Samuel Voss、Xagarey-Louis Meyer。

我们的整理:三张表,把这套东西落地

原文的五项实践读起来抽象,落到工程上其实就三张表。我们按原文口径重排了一遍(不新增结论),方便对照自己团队现状:

表一:按步骤给信任,而不是按 agent 给

等级 谁在决策 适合什么 判断依据
0 人(每步批准) 新 agent、高风险、不可逆 没有历史数据,先保守
1 agent 执行,人异步复核 中等风险、输入输出与回滚已定义 有评测数据支撑
2 agent(护栏内自治) 低风险、已被充分理解、有验证履历 边界由代码强制,不靠提示词

表二:三层组合,各自独立过 CI

层 是什么 不该包含什么 测试
MCP 工具 原子集成契约(一次 API、一次查询) 工作流假设 组件测试
Skill 领域相关的工具打包(如代码评审) 跨域编排 组件测试 + 交互测试
Flow 端到端业务流程(如 PR 评审全流程) 具体工具实现细节 交互测试

表三:四阶段流水线各卡什么

阶段 卡什么 失败后果
1 供应链来源、组件与交互测试、评测库引用、埋点 直接不通过
2 静态分析、隔离环境安全探测、出口控制、最小权限、自治等级与实际权限是否一致、策略即代码 不通过 + 发现项进注册表
3 ground truth 评测闸门、延迟与 token 消耗 指标恶化即停
4 与注册表已有资产查重 重复则需合并或说明

四条边界

一,这是供应商与客户联合署名的经验稿。 作者来自 AWS 与宝马,讲的是宝马的做法。里面没有一个数字是"治理后事故下降多少"这类效果数据——原文只说"降低了开发成本、上线更快、质量提升",没有给量化。别把它当因果证明读。

二,规则要"agent 无法覆盖"。 全文最值得抄走的一句是治理必须在 agent 推理循环之外、以确定性代码运行。这也是为什么它反复强调 CI/CD 与集成层(MCP 网关、注册表),而不是"在系统提示词里写清楚不许做什么"。任何写在提示词里的约束,本质上都是建议。

三,注册表是整套体系的中枢,也是最容易被做坏的部分。 它同时要当发现机制、治理关卡、安全关卡和去重保险——四个目标会互相拉扯(比如去重越严,发现机制越受限)。原文列了元数据字段(见上文注册表那张表)和四项检查,但没说四个目标冲突时怎么裁。

四,人类的位置被写死了。 建议要人确认、决策归人、四眼原则、高影响动作必须 human-in-the-loop、治理状态变更要留审计轨迹。这套设计里 agent 越自治,需要留证据的地方越多——和我们写agent 审计与取证时得到的结论一致。

原文出处

延伸阅读:本站《harness 的五种形态:循环、图与七级编排》、《没有云账号怎么测 agent》,以及支柱页《Agent / MCP 完全指南》。

本文由汇智网编译整理,转载请注明出处。

这是「Agent / MCP」专题的一部分。完整地图见:Agent / MCP / 自动化完全指南