PyTorch

本地 LLM

Transformers 现在能直接跑 llama.cpp 的 GGUF 量化模型了

本地推理最常用的 GGUF 量化格式，现在可以在 transformers 里直接加载了。Hugging Face 复用 llama.cpp 的 ggml Metal 内核并优化生成循环，在 MacBook Pro M2 Max 上把性能做到接近 llama.cpp——本文完整编译：三行加载代码、OpenAI 兼容服务、实测数字与当前限制。