> ## Content Index
> Fetch the complete content index at: https://www.hubwiz.com/blog/llms.txt
> Use this file to discover other available public pages before exploring further.

# 我们做了一个 AI 控制面，用来降低 LLM 开支、防止数据泄露
- URL: https://www.hubwiz.com/blog/ai-control-plane-heimdall-token-cost-pii/
- Published: 2026-11-21T23:34:12.000Z
- Updated: 2026-11-21T23:44:19.000Z
- Description: 六个人四周：63.6% 的调用被语义缓存和本地模型吃掉，4,170 次 PII 外泄被拦在出口，代价是 14 毫秒。
- Author: admin
- Tags: AI 控制平面, LLM 网关, 成本优化, 数据泄露, PII

六个 Thoughtworker 试用四周，打到付费 API 的请求从 100% 降到 **36.4%**，模型选择从"永远最贵"变成按复杂度分流，**4,170 次** PII 外泄被拦在出口，代价是每次请求多约 **14 毫秒**。

这是 Thoughtworks 在内部 AI/works 全球黑客松里做的一个工具，取名 **Heimdall**（北欧神话里守彩虹桥的那位）。它不是一个提示词规范，也不是一份《禁止把敏感数据贴进 ChatGPT》的红头文件——这是一段插在 IDE 和模型之间的代理，能拦、能改、能降级、能记账。

## 承认这个控制缺口

各大 LLM 厂商从订阅制转向按 token 计价之后，"控制 token 用量"立刻成了一号议题。Thoughtworker 每天都在用 AI 辅助开发工具，这种计价方式一变，跨 IDE、跨各种小工具地盯住开发者的 token 消耗就成了必答题。

但 AI 用得快，暴露出来的是一个结构性问题：**没有统一路由，每一个 prompt 都默认走最高档、最贵的模型、按统一的每 token 费率结算**。从"HTTP 429 是什么"这种一句话问答，到"把这个系统重构一下"这种重活，走的都是同一条最贵的路。

钱之外还有一层：没有审计轨迹、没有过滤网，prompt 就把公司 IP、个人数据（PII）和 API 凭据一起交给外部服务器。这对组织和客户都是实打实的风险。

## Heimdall 干什么

Heimdall 是一块**控制平面兼代理网关**，位置在客户端应用、IDE 扩展、agent 框架与下游 LLM 厂商之间。它拦截进来的 API 调用，让请求依次穿过一条模块化的六段流水线——六段各管一件事，作者按北欧神话里的角色给它们起了名，统称"守卫者"（the Guardians）。

**Bifrost（代理网关）**：对外提供一个 OpenAI 兼容的 API 端点。接入方式是改一个 base URL 字符串，不需要装任何自定义 SDK。

**Gjallarhorn（PII 清洗与 IP 保护）**：Microsoft Presidio、spaCy 的 NER 加上自定义正则识别器，在数据出网之前识别并抹掉敏感 PII（姓名、邮箱）或凭据。它被配置成**失败即关闭**（fail-closed）的机制：只要清洗环节报错，请求立刻中止，不放行。

**Mimir's Well（语义缓存）**：对语义相同或等价的 prompt 直接返回缓存答案，不用打到外部厂商——命中就是瞬时返回，零 token 成本。

**The Norns（复杂度路由）**：动态评估 prompt 的复杂度，把流量导向"够用且最便宜"的模型。区间从本机 Ollama 上跑的本地模型（0）到 Haiku（1/M），再到 Claude Sonnet（3/M）这类一线云端模型，最后才是 Opus（5/M）。（原文用每百万 token 的价格档位表示，数字照录。）

**Wall of Asgard（预算闸）**：按团队、按模型、按周期执行 token 花费阈值。它不会在某档预算用完之后直接掐断开发者的查询，而是走一条自动的**优雅降级阶梯**：Opus → Sonnet → Haiku → 本地模型。

**Himinbjorg（可观测性）**：接 OpenTelemetry 与 New Relic 这类平台，输出细粒度遥测：成本、延迟、缓存命中率、模型路由决策、PII 过滤事件。

## 低延迟是设计出来的

安全和路由的护栏通常会在延迟上吃亏。Heimdall 的做法是把复杂度打分与 PII 清洗**并行**放到异步 worker 里执行。整条链路的额外开销约 **14 毫秒**——放在一次 2 到 15 秒的 LLM 调用旁边，基本感觉不到。

## 每一个 token 是怎么省下来的

一个请求真正到达云端模型之前，要过好几层成本防线：

**第一层，干脆不打这个电话。** 语义缓存瞬时返回之前的答案；复杂度分数低于 0.30 的简单问题直接交给本地 LLM，成本为零。缓存键还专门做了"智能"处理：把 IDE 塞进 prompt 的噪声（文件路径、光标位置之类）剥掉，命中率因此明显抬高。

**第二层，选对尺寸的模型。** 复杂度路由让模型和任务匹配；预算降级把请求挪到更便宜的模型，而不是让请求失败。原本要 Opus 的请求，会在失控成本保护下自动降到 Sonnet。

**第三层，让每一次调用本身更便宜。** Anthropic 的提示缓存对重复的系统提示词给 **11 倍**折扣；输出 token 上限与上下文裁剪则减少送出去和收回来两头的内容量。

## 四周试点的结果

为了在真实条件下验证，团队做了一个**为期四周、6 名 Thoughtworker、覆盖不同交付线**的内部生产试点。

| 指标           | 没有 Heimdall | 有 Heimdall              |
| ------------ | ----------- | ----------------------- |
| 打到付费 API 的请求 | 100%        | 36.4%（降 63.6%）          |
| 模型选择         | 永远最贵        | 动态（本地 / Haiku / Sonnet） |
| PII 保护       | 无           | 拦下 4,170 次泄露            |
| 成本可见性        | 盲花          | 逐请求追踪                   |
| 缓存命中率        | —           | 34.2%                   |

## 两个意外

结果本身有意思，但有两件事出乎意料。

**聪明的缓存键比聪明的缓存算法更重要。** 两个 IDE prompt 在语义上完全同义，作为原始字符串看却完全不同——差异全在元数据噪声里。把噪声剥掉是个很简单的改动，效果却大得不成比例。

**14 毫秒的 PII 清洗基本等于免费。** 当你的 LLM 调用要 2 到 15 秒时，14 毫秒的安全成本是看不见的。

## 在 Thoughtworks 内外的用法

**即插即用的架构。** Heimdall 是按模块化设计的，六个守卫者彼此完全解耦。任何组织或内部团队可以整套部署，也可以只挑其中一个组件——比如 PII 清洗器或语义缓存——塞进自己已有的 AI 架构，额外开销很小。它同样可以用在 Thoughtworks 的 AI/works 平台里。

**政策不扩展，工程控制才扩展。** 每一个规模化使用生成式 AI 的组织，最后都会撞上同一对难题：怎么收住爆掉的 token 支出，怎么防止敏感数据漏进第三方基础模型。多数组织的答案是发政策："不要把敏感数据贴进 ChatGPT。"但政策不扩展，工程控制才扩展。Heimdall 是对治理问题的一个工程答案。而在今天每一个 token 都挂着价签，这个答案比以往更重要。它也很容易扩展进 AI/works，在工作流层面提供统一控制与治理。

## 黑客松里学到的

这段经历来自 AI/works 全球黑客松：Heimdall 拿到 **LATAM 赛区第二名**和**最佳协作奖**。在 Thiago Gregorio 等人的指导与带教下，团队试着强调几条塑造了项目和工程方法的原则：

**大胆实验，快速失败。** 快速原型让他们迅速验证关键假设。试不同路由机制和缓存策略时，不怕失败地试，几天内就落到了一个优化过的架构上。

**保持 builder 心态。** 关注能落地的实现而不是纯理论方案，保证每个组件都在解决开发者生产工作流里真实、可观察的问题。

**即插即用与模块化灵活度。** 从第一天起，Heimdall 的组件就是完全模块化的。团队可以只挑一个功能——PII 清洗或语义缓存——装进任何已有基础设施，或者顺势扩展进 AI/works 平台。

说到底，这些原则说明：有效的 AI 治理最好通过工程方案实现，而不是靠被动守则。做出模块化、以开发者为中心、即插即用的控制点，组织才能在保持安全与成本效率的同时，保住创新的速度。

## 我们的整理

### 六道关卡各自拦什么、拦不住什么

原文把六个组件讲得很清楚，但没讲它们各自的失效面。下面这张表是我们按"上线前必须能回答的问题"倒推的：

| 守卫者                | 拦什么                        | 拦不住什么                     | 上线前要能回答                 |
| ------------------ | -------------------------- | ------------------------- | ----------------------- |
| Bifrost 代理网关       | 绕过统一出口的直连（只要 policy 强制走网关） | 已经被硬编码到应用里的官方 SDK 直连地址    | 谁还有权限直连厂商？怎么发现？         |
| Gjallarhorn PII 清洗 | 姓名、邮箱、凭据等已知模式              | 语义层面的敏感信息（"我们 Q3 要收购的那家"） | 清洗器挂了是全站停工，还是放行？谁批这个决定？ |
| Mimir's Well 语义缓存  | 等价问句的重复计费                  | 跨团队/跨租户的越权命中；答案时效性        | 缓存键里带租户、权限、模型版本了吗？      |
| The Norns 复杂度路由    | 一句话问答打到旗舰模型                | 把难任务误判成简单任务（错得更贵）         | 误判率有没有单独度量？谁复核？         |
| Wall of Asgard 预算闸 | 单团队/单模型/单周期超支              | 静默降级带来的质量下滑               | 被降级的请求记在谁名下？有人通知吗？      |
| Himinbjorg 可观测     | 盲花、盲路由、盲过滤                 | 数据本身的正确性                  | 出问题时先看哪个面板？             |

### 三件比原文更硬的事

**一，缓存键的归一化要先量化噪声。** 原文的"智能缓存键比算法更重要"是真话，但它同时意味着命中率是个可以被键设计"调"出来的数字——剥离得越狠，命中越高，误命中风险也越大。我们的判据是：**先抽 200 条真实 IDE prompt，统计剥离前后的键碰撞，再决定剥到什么程度**；34.2% 这个命中率离开这个前提就不可引用。

**二，fail-closed 要配一条降级预案。** PII 清洗器报错就中止请求，安全性上正确，可用性上意味着"清洗器的可用性 = 全公司的 AI 可用性"。所以至少要写清三件事：清洗器故障时的告警对象、是否允许临时 fail-open（以及谁有权批）、以及这期间 token 花费与泄露风险各由谁承担。

**三，降级不能静默。** 「Opus → Sonnet → Haiku → 本地」这条阶梯跑起来很优雅，但如果没人知道自己在被降级，写代码的人会以为是模型变笨了，而不是预算用完了。我们的要求是：降级事件必须落到团队的账单视图里，并且按"降了多少档 / 影响哪些请求 / 有没有触发返工"三列留痕。

### 和本站其他几篇对照着读

- 先算清"贵在哪"：[《Agent 成本体检：92,413 个 token 的启动账》](https://www.hubwiz.com/blog/agent-cost-audit-context-budget-prompt-cache/)——复杂度路由省下的钱，取决于你知不知道那 92,413 个 token 花在哪。
- 路由的判定器怎么自己做：[《大模型微调入门：Qwen3-8B 做难度打分》](https://www.hubwiz.com/blog/qwen3-8b-finetune-prompt-complexity-router/)——Heimdall 的 Norns 是规则/模型打分，这篇是把打分器自己训一遍的真实精度曲线。
- 网关本身也是攻击面：[《LLM 网关被攻破：LiteLLM 三个漏洞如何偷走 provider key》](https://www.hubwiz.com/blog/litellm-gateway-api-key-theft/)——同一个位置上，Heimdall 挡的是出网数据，LiteLLM 那次是网关自己被当成跳板。
- 数据是怎么被读走的：[《API Key 是怎么被 LLM 读走的》](https://www.hubwiz.com/blog/llm-api-key-leakage-agent-context/)——清洗器要认的模式，比"sk-"开头的字符串多得多。
- 控制平面之外还需要什么：[《你的 Agent 并不自主：你就是它的循环》](https://www.hubwiz.com/blog/agent-harness-loops-graphs-seven-levels/)——网关管住"能调什么、花多少"，管不住"什么才算做完了"。

### 五条边界

**一，样本是 6 个人、4 周、一次内部试点。** 没有对照组、没有置信区间、没有跨组织复现，63.6% 和 34.2% 都只属于这 6 个人的工作方式。

**二，没给绝对金额。** 原文只有比例和"11 倍折扣"这类相对数。把 63.6% 换算成"省了多少钱"需要你自己团队的账单，别人的比例不能直接搬。

**三，这是厂商自建、内部试点的自述。** 作者是 Thoughtworks 的工程师，Heimdall 是该公司的内部项目，文章本身也是给自家的 AI/works 平台做说明。数字没有第三方核过。

**四，路由和缓存都有正确性代价。** 复杂度打分错一次，任务就被降级到不够用的模型上；语义缓存命中错一次，你拿到的是另一个问题的答案。这两类错误都不会报错，只会以"模型今天不太行"的形式出现。

**五，政策不扩展这句话，不等于政策没用。** 原文的靶子是"只发政策、不做工程"，不是"不要政策"。工程控制能拦住已经发生的调用，但谁有权把哪类数据交给外部模型，仍然只能由人定。

---

**来源**

- Rahit Kar、Camila Oliveira、Anshul Kumar。*We built an AI control plane to reduce LLM expenses and prevent data leaks*。Thoughtworks Insights，2026-11-10。https://www.thoughtworks.com/insights/blog/generative-ai/we-built-ai-control-plane-reduce-LLM-expenses-prevent-data-leaks
- 原文约 1,300 词，含四周试点对照表与两个意外结论；本文为完整翻译，末节「我们的整理」为本站补充。

本文由 hubwiz 编译整理，转载请注明出处。

> **这是「Agent / MCP」专题的一部分。**完整地图见：[Agent / MCP / 自动化完全指南](https://www.hubwiz.com/blog/agent-stack/)