AI 基建 / 评测 / 安全完全指南
模型之外，真正决定 AI 系统能不能上生产的是推理、成本、可观测、评测、安全这五件事。这页汇总这条线的技术内容。
适合：AI 平台 / 基础架构工程师、负责 AI 系统稳定与成本的团队。
一、推理引擎与部署
二、成本工程
- AI 编程的隐藏成本
- 优化 Token 成本的 7 个工程技巧
- 用 OmniRoute 节省 95% Token 成本
- AI 成本优化：分层架构怎么做
- LLM 成本控制简明教程
- 文档 token 消耗：图像 vs. 文本
- AI 智能体狂热背后的真实账单
- 以百万分之一的成本训练 AI
三、可观测性
四、评测
五、安全
常见问题
Q：推理引擎该怎么选？本地开发用 Ollama 省事，高并发生产用 vLLM，极致轻量用 llama.cpp。见第一节实测。
Q：怎么把 Token 成本降下来？路由/缓存/压缩上下文/换小模型/批处理等组合拳，见第二节。
Q：LLM 应用要监控什么？链路、成本、质量三层缺一不可，见第三节。
Q：怎么防 Prompt 注入？把它当“授权问题”而非文本过滤问题，配合最小权限与工具白名单，见第五节。
最后更新：2026-10-13 ｜ 汇智网编辑部