AI 基建 / 评测 / 安全完全指南
模型之外,真正决定 AI 系统能不能上生产的是推理、成本、可观测、评测、安全这五件事。这页汇总这条线的技术内容。
适合:AI 平台 / 基础架构工程师、负责 AI 系统稳定与成本的团队。
一、推理引擎与部署
- Agent 云:一个应用服务百万人 → 百万个 agent 各跑各的(旧云四件套 vs agent 云六根柱子:沙箱=新虚拟机、持久状态=新对象存储、路由网关=新负载均衡;附本周软件公司估值中位数 4.5x / 高增长 15.9x)
- DeepInfer 开源拆解:DeepSeek 生产推理引擎里有什么、缺什么
- Ollama / vLLM / llama.cpp 实测对比
- Colibri 推理引擎:权重流式传输
二、成本工程
- AI 算力不是堆芯片:Google 的 token 产能每半年翻一倍
- AI 编程的隐藏成本
- 优化 Token 成本的 7 个工程技巧
- 用 OmniRoute 节省 95% Token 成本
- AI 成本优化:分层架构怎么做
- LLM 成本控制简明教程
- 文档 token 消耗:图像 vs. 文本
- AI 智能体狂热背后的真实账单
- 以百万分之一的成本训练 AI
三、可观测性
四、评测
- 便宜模型先筛,贵模型兜底:同样准,成本只有 1/4
- 我很难相信 AI 自主搞研发有这么神:三个小项目的实录
- 暂停时钟 70%,真实时钟 14%:agent 输在时间,不是智商(Realtime-Bench:50 个任务、12 个模型、三种时钟;真实时钟最好 44%/Pass^3 36%,推理强度在时间压力下会反转)
- AI 做税务只过 10.8%:算得对,却想不到该提醒你什么
- AI 编程评测复盘:推理档位开满,36 题 196 个检查点
- 90% 工时没有基准覆盖:Mercor 的 AI 评测地图
- 默认模型是没锁的依赖:Codex 15 天三变,评测要记四个字段
- 3 个开源 LLM 评估框架对比
- ExtractBench:AI 数据提取基准
- 我从真实 RAG 学到的 6 个评估指标
五、安全
- Apple 个人知识图谱:连"谁是你妈"都是算出来的(51 个明文 SQLite、181 类实体、278 个谓词、144 个特征;删掉的联系人留在 expired_stable_graph 里、评分还在;附本地只读工具 iKnow)
- 你的博客读者已经不是人:llms.txt 和 .md 才是它的入口
- LLM 网关被攻破:LiteLLM 三个漏洞如何偷走 provider key
- 开源模型后门:投毒 1% 就能让编码代理泄露 .env
- 1–2 毫秒起的 microVM:Hyperlight 0.18 换掉主机通信层
- AI 爬虫流量:11 个问答分清爬取、引荐与转化
- AI 爬虫冒充读者:近 5 倍流量暴涨的取证与 AWS WAF 拦截
- 大模型 Prompt 注入攻防指南
- 逆向工程一个 Prompt 注入攻击
常见问题
Q:推理引擎该怎么选? 本地开发用 Ollama 省事,高并发生产用 vLLM,极致轻量用 llama.cpp。见第一节实测。
Q:怎么把 Token 成本降下来? 路由/缓存/压缩上下文/换小模型/批处理等组合拳,见第二节。
Q:LLM 应用要监控什么? 链路、成本、质量三层缺一不可,见第三节。
Q:怎么防 Prompt 注入? 把它当“授权问题”而非文本过滤问题,配合最小权限与工具白名单,见第五节。
最后更新:2026-10-24 | 汇智网编辑部