本地 LLM
Transformers 现在能直接跑 llama.cpp 的 GGUF 量化模型了
本地推理最常用的 GGUF 量化格式，现在可以在 transformers 里直接加载了。Hugging Face 复用 llama.cpp 的 ggml Metal 内核并优化生成循环，在 MacBook Pro M2 Max 上把性能做到接近 llama.cpp——本文完整编译：三行加载代码、OpenAI 兼容服务、实测数字与当前限制。
本地 LLM
本地 LLM
LFM2.5-24B-A2B：24B 参数只激活 2B，把推理智能体跑在本地设备上
一个 24B 的 MoE 模型，每个 token 只激活 2B 参数，却能在工具调用上超过参数多约 50% 的对手——Liquid AI 的 LFM2.5-24B-A2B 专为"在自己硬件上持续运行智能体"设计。本文完整编译官方发布：架构、五阶段后训练（含 Agentic RL）、16 项基准、端侧与 GPU 速度、以及 transformers / 智能体框架接入。
本地 LLM
用 AI 智能体给自己造模型：两天、103 美元、6 个小模型
想要的小模型不存在，就自己造一个。用 Hugging Face 的 ML Intern 智能体，作者在两天里造了 6 个模型：柑橘病害 VLM、角色 LoRA、相机角度 LoRA、0.8B 口袋改写器、4 步出图模型……总算力约 103 美元。附提示写法与成本表。