我们做了一个 AI 控制面,用来降低 LLM 开支、防止数据泄露
六个人四周:63.6% 的调用被语义缓存和本地模型吃掉,4,170 次 PII 外泄被拦在出口,代价是 14 毫秒。
六个 Thoughtworker 试用四周,打到付费 API 的请求从 100% 降到 36.4%,模型选择从"永远最贵"变成按复杂度分流,4,170 次 PII 外泄被拦在出口,代价是每次请求多约 14 毫秒。
这是 Thoughtworks 在内部 AI/works 全球黑客松里做的一个工具,取名 Heimdall(北欧神话里守彩虹桥的那位)。它不是一个提示词规范,也不是一份《禁止把敏感数据贴进 ChatGPT》的红头文件——这是一段插在 IDE 和模型之间的代理,能拦、能改、能降级、能记账。
承认这个控制缺口
各大 LLM 厂商从订阅制转向按 token 计价之后,"控制 token 用量"立刻成了一号议题。Thoughtworker 每天都在用 AI 辅助开发工具,这种计价方式一变,跨 IDE、跨各种小工具地盯住开发者的 token 消耗就成了必答题。
但 AI 用得快,暴露出来的是一个结构性问题:没有统一路由,每一个 prompt 都默认走最高档、最贵的模型、按统一的每 token 费率结算。从"HTTP 429 是什么"这种一句话问答,到"把这个系统重构一下"这种重活,走的都是同一条最贵的路。
钱之外还有一层:没有审计轨迹、没有过滤网,prompt 就把公司 IP、个人数据(PII)和 API 凭据一起交给外部服务器。这对组织和客户都是实打实的风险。
Heimdall 干什么
Heimdall 是一块控制平面兼代理网关,位置在客户端应用、IDE 扩展、agent 框架与下游 LLM 厂商之间。它拦截进来的 API 调用,让请求依次穿过一条模块化的六段流水线——六段各管一件事,作者按北欧神话里的角色给它们起了名,统称"守卫者"(the Guardians)。
Bifrost(代理网关):对外提供一个 OpenAI 兼容的 API 端点。接入方式是改一个 base URL 字符串,不需要装任何自定义 SDK。
Gjallarhorn(PII 清洗与 IP 保护):Microsoft Presidio、spaCy 的 NER 加上自定义正则识别器,在数据出网之前识别并抹掉敏感 PII(姓名、邮箱)或凭据。它被配置成失败即关闭(fail-closed)的机制:只要清洗环节报错,请求立刻中止,不放行。
Mimir's Well(语义缓存):对语义相同或等价的 prompt 直接返回缓存答案,不用打到外部厂商——命中就是瞬时返回,零 token 成本。
The Norns(复杂度路由):动态评估 prompt 的复杂度,把流量导向"够用且最便宜"的模型。区间从本机 Ollama 上跑的本地模型(0)到 Haiku(1/M),再到 Claude Sonnet(3/M)这类一线云端模型,最后才是 Opus(5/M)。(原文用每百万 token 的价格档位表示,数字照录。)
Wall of Asgard(预算闸):按团队、按模型、按周期执行 token 花费阈值。它不会在某档预算用完之后直接掐断开发者的查询,而是走一条自动的优雅降级阶梯:Opus → Sonnet → Haiku → 本地模型。
Himinbjorg(可观测性):接 OpenTelemetry 与 New Relic 这类平台,输出细粒度遥测:成本、延迟、缓存命中率、模型路由决策、PII 过滤事件。
低延迟是设计出来的
安全和路由的护栏通常会在延迟上吃亏。Heimdall 的做法是把复杂度打分与 PII 清洗并行放到异步 worker 里执行。整条链路的额外开销约 14 毫秒——放在一次 2 到 15 秒的 LLM 调用旁边,基本感觉不到。
每一个 token 是怎么省下来的
一个请求真正到达云端模型之前,要过好几层成本防线:
第一层,干脆不打这个电话。 语义缓存瞬时返回之前的答案;复杂度分数低于 0.30 的简单问题直接交给本地 LLM,成本为零。缓存键还专门做了"智能"处理:把 IDE 塞进 prompt 的噪声(文件路径、光标位置之类)剥掉,命中率因此明显抬高。
第二层,选对尺寸的模型。 复杂度路由让模型和任务匹配;预算降级把请求挪到更便宜的模型,而不是让请求失败。原本要 Opus 的请求,会在失控成本保护下自动降到 Sonnet。
第三层,让每一次调用本身更便宜。 Anthropic 的提示缓存对重复的系统提示词给 11 倍折扣;输出 token 上限与上下文裁剪则减少送出去和收回来两头的内容量。
四周试点的结果
为了在真实条件下验证,团队做了一个为期四周、6 名 Thoughtworker、覆盖不同交付线的内部生产试点。
| 指标 | 没有 Heimdall | 有 Heimdall |
|---|---|---|
| 打到付费 API 的请求 | 100% | 36.4%(降 63.6%) |
| 模型选择 | 永远最贵 | 动态(本地 / Haiku / Sonnet) |
| PII 保护 | 无 | 拦下 4,170 次泄露 |
| 成本可见性 | 盲花 | 逐请求追踪 |
| 缓存命中率 | — | 34.2% |
两个意外
结果本身有意思,但有两件事出乎意料。
聪明的缓存键比聪明的缓存算法更重要。 两个 IDE prompt 在语义上完全同义,作为原始字符串看却完全不同——差异全在元数据噪声里。把噪声剥掉是个很简单的改动,效果却大得不成比例。
14 毫秒的 PII 清洗基本等于免费。 当你的 LLM 调用要 2 到 15 秒时,14 毫秒的安全成本是看不见的。
在 Thoughtworks 内外的用法
即插即用的架构。 Heimdall 是按模块化设计的,六个守卫者彼此完全解耦。任何组织或内部团队可以整套部署,也可以只挑其中一个组件——比如 PII 清洗器或语义缓存——塞进自己已有的 AI 架构,额外开销很小。它同样可以用在 Thoughtworks 的 AI/works 平台里。
政策不扩展,工程控制才扩展。 每一个规模化使用生成式 AI 的组织,最后都会撞上同一对难题:怎么收住爆掉的 token 支出,怎么防止敏感数据漏进第三方基础模型。多数组织的答案是发政策:"不要把敏感数据贴进 ChatGPT。"但政策不扩展,工程控制才扩展。Heimdall 是对治理问题的一个工程答案。而在今天每一个 token 都挂着价签,这个答案比以往更重要。它也很容易扩展进 AI/works,在工作流层面提供统一控制与治理。
黑客松里学到的
这段经历来自 AI/works 全球黑客松:Heimdall 拿到 LATAM 赛区第二名和最佳协作奖。在 Thiago Gregorio 等人的指导与带教下,团队试着强调几条塑造了项目和工程方法的原则:
大胆实验,快速失败。 快速原型让他们迅速验证关键假设。试不同路由机制和缓存策略时,不怕失败地试,几天内就落到了一个优化过的架构上。
保持 builder 心态。 关注能落地的实现而不是纯理论方案,保证每个组件都在解决开发者生产工作流里真实、可观察的问题。
即插即用与模块化灵活度。 从第一天起,Heimdall 的组件就是完全模块化的。团队可以只挑一个功能——PII 清洗或语义缓存——装进任何已有基础设施,或者顺势扩展进 AI/works 平台。
说到底,这些原则说明:有效的 AI 治理最好通过工程方案实现,而不是靠被动守则。做出模块化、以开发者为中心、即插即用的控制点,组织才能在保持安全与成本效率的同时,保住创新的速度。
我们的整理
六道关卡各自拦什么、拦不住什么
原文把六个组件讲得很清楚,但没讲它们各自的失效面。下面这张表是我们按"上线前必须能回答的问题"倒推的:
| 守卫者 | 拦什么 | 拦不住什么 | 上线前要能回答 |
|---|---|---|---|
| Bifrost 代理网关 | 绕过统一出口的直连(只要 policy 强制走网关) | 已经被硬编码到应用里的官方 SDK 直连地址 | 谁还有权限直连厂商?怎么发现? |
| Gjallarhorn PII 清洗 | 姓名、邮箱、凭据等已知模式 | 语义层面的敏感信息("我们 Q3 要收购的那家") | 清洗器挂了是全站停工,还是放行?谁批这个决定? |
| Mimir's Well 语义缓存 | 等价问句的重复计费 | 跨团队/跨租户的越权命中;答案时效性 | 缓存键里带租户、权限、模型版本了吗? |
| The Norns 复杂度路由 | 一句话问答打到旗舰模型 | 把难任务误判成简单任务(错得更贵) | 误判率有没有单独度量?谁复核? |
| Wall of Asgard 预算闸 | 单团队/单模型/单周期超支 | 静默降级带来的质量下滑 | 被降级的请求记在谁名下?有人通知吗? |
| Himinbjorg 可观测 | 盲花、盲路由、盲过滤 | 数据本身的正确性 | 出问题时先看哪个面板? |
三件比原文更硬的事
一,缓存键的归一化要先量化噪声。 原文的"智能缓存键比算法更重要"是真话,但它同时意味着命中率是个可以被键设计"调"出来的数字——剥离得越狠,命中越高,误命中风险也越大。我们的判据是:先抽 200 条真实 IDE prompt,统计剥离前后的键碰撞,再决定剥到什么程度;34.2% 这个命中率离开这个前提就不可引用。
二,fail-closed 要配一条降级预案。 PII 清洗器报错就中止请求,安全性上正确,可用性上意味着"清洗器的可用性 = 全公司的 AI 可用性"。所以至少要写清三件事:清洗器故障时的告警对象、是否允许临时 fail-open(以及谁有权批)、以及这期间 token 花费与泄露风险各由谁承担。
三,降级不能静默。 「Opus → Sonnet → Haiku → 本地」这条阶梯跑起来很优雅,但如果没人知道自己在被降级,写代码的人会以为是模型变笨了,而不是预算用完了。我们的要求是:降级事件必须落到团队的账单视图里,并且按"降了多少档 / 影响哪些请求 / 有没有触发返工"三列留痕。
和本站其他几篇对照着读
- 先算清"贵在哪":《Agent 成本体检:92,413 个 token 的启动账》——复杂度路由省下的钱,取决于你知不知道那 92,413 个 token 花在哪。
- 路由的判定器怎么自己做:《大模型微调入门:Qwen3-8B 做难度打分》——Heimdall 的 Norns 是规则/模型打分,这篇是把打分器自己训一遍的真实精度曲线。
- 网关本身也是攻击面:《LLM 网关被攻破:LiteLLM 三个漏洞如何偷走 provider key》——同一个位置上,Heimdall 挡的是出网数据,LiteLLM 那次是网关自己被当成跳板。
- 数据是怎么被读走的:《API Key 是怎么被 LLM 读走的》——清洗器要认的模式,比"sk-"开头的字符串多得多。
- 控制平面之外还需要什么:《你的 Agent 并不自主:你就是它的循环》——网关管住"能调什么、花多少",管不住"什么才算做完了"。
五条边界
一,样本是 6 个人、4 周、一次内部试点。 没有对照组、没有置信区间、没有跨组织复现,63.6% 和 34.2% 都只属于这 6 个人的工作方式。
二,没给绝对金额。 原文只有比例和"11 倍折扣"这类相对数。把 63.6% 换算成"省了多少钱"需要你自己团队的账单,别人的比例不能直接搬。
三,这是厂商自建、内部试点的自述。 作者是 Thoughtworks 的工程师,Heimdall 是该公司的内部项目,文章本身也是给自家的 AI/works 平台做说明。数字没有第三方核过。
四,路由和缓存都有正确性代价。 复杂度打分错一次,任务就被降级到不够用的模型上;语义缓存命中错一次,你拿到的是另一个问题的答案。这两类错误都不会报错,只会以"模型今天不太行"的形式出现。
五,政策不扩展这句话,不等于政策没用。 原文的靶子是"只发政策、不做工程",不是"不要政策"。工程控制能拦住已经发生的调用,但谁有权把哪类数据交给外部模型,仍然只能由人定。
来源
- Rahit Kar、Camila Oliveira、Anshul Kumar。We built an AI control plane to reduce LLM expenses and prevent data leaks。Thoughtworks Insights,2026-11-10。https://www.thoughtworks.com/insights/blog/generative-ai/we-built-ai-control-plane-reduce-LLM-expenses-prevent-data-leaks
- 原文约 1,300 词,含四周试点对照表与两个意外结论;本文为完整翻译,末节「我们的整理」为本站补充。
本文由 hubwiz 编译整理,转载请注明出处。
这是「Agent / MCP」专题的一部分。完整地图见:Agent / MCP / 自动化完全指南