本地 & 自托管 LLM 完全指南
“本地跑大模型”到 2026 年已经从玩具变成了可用的生产方案，但陷阱不少：硬件怎么配、引擎选哪个、量化损失多少、以及“本地”到底等不等于“隐私”。这页是这条线的总入口。
适合：在意数据不出内网、想省 API 费、或要做离线部署的工程师。
一、先算硬件账
二、跑起来：最省事的路径
三、引擎选型与性能
- Ollama / vLLM / llama.cpp 实测
- 为什么我不再使用 Ollama
- LlamaStash = llama.cpp + Ollama
- Colibri 推理引擎：权重流式传输
- Transformers 直接跑 GGUF 量化模型（性能接近 llama.cpp）
四、量化与模型选择
- GGUF 文件名解析（怎么读懂量化标记）
- LFM2.5-24B-A2B：24B 参数只激活 2B 的端侧智能体模型
- Qwen3.6–35B vs. Gemma 4 26B
- 大模型的解禁技术（abliteration）
- 如何运行无审查版 Qwen 3.8 27B
五、隐私边界（重要）
- 本地部署不等于自动合规/私密：模型、日志、遥测、依赖都可能外传。相关实测见内容计划 #14。
常见问题
Q：一张消费级显卡能跑多大的模型？ 取决于量化等级和显存。先看第一节的硬件账，再看第四节的量化。
Q：Ollama 和 vLLM 怎么选？ 本地单人开发/尝鲜用 Ollama 省事；要并发、要高吞吐的生产服务用 vLLM。对比见第三节。
Q：本地模型效果够用吗？ 日常编码/文档任务够用，复杂推理仍以云端大模型为主。可混合使用。
Q：本地真的更隐私吗？ 不一定，要看具体实现。见第五节。
最后更新：2026-10-15 ｜ 汇智网编辑部