本地 LLM
Transformers 现在能直接跑 llama.cpp 的 GGUF 量化模型了
本地推理最常用的 GGUF 量化格式，现在可以在 transformers 里直接加载了。Hugging Face 复用 llama.cpp 的 ggml Metal 内核并优化生成循环，在 MacBook Pro M2 Max 上把性能做到接近 llama.cpp——本文完整编译：三行加载代码、OpenAI 兼容服务、实测数字与当前限制。
GGUF
MODEL-ZOO
Phi-4 GGUF快速指南
本指南将引导你完成在自己的机器上设置和使用 Phi-4 GGUF 的过程，使你能够利用其功能执行各种自然语言处理任务。
APPLICATION
LLM微调实现网络攻击检测
在这篇文章中，我将探讨 LLM 微调在网络安全领域预测任务中的更高级用例。具体来说，我提出了一种使用微调 LLM 进行实时网络攻击检测的机制。
LLM
低端PC运行LLM的5个方法
本文介绍在低配置设备上运行大模型的技术方案，包括量化、半精度、SafeTensors、GGUF 文件格式、设备映射、注意力切片、CPU 卸载等。
APPLICATION
大模型微调改善SQL生成
在使用LLM 执行 SQL 生成任务时，通常难以生成准确的 SQL 查询，为此使用 QLoRA 在自定义数据集上微调大模型是一种有效的方法。
LIBRARY
用MLX微调医学诊断大模型
本文探讨微调LLM用于医疗诊断预测，硬件为配备 M2 芯片的 Apple Silicon Mac ，使用 LoRA 和 Apple MLX 框架微调，Ollama 运行推理服务。
MODEL-ZOO
OuteTTS 简明教程
OuteAI推出的OuteTTS是一种新颖的文本转语音 ( TTS ) 合成方法，它利用纯语言建模，无需外部适配器或复杂架构。
TOOL
ComfyUI使用FLUX.1量化模型
大部分人的硬件无法提供16-24GB显存来运行FLUX.1模型，本文介绍如何在ComfyUI中使用量化的FLUX.1模型在消费级硬件上生成图像。