QUANTIZATION

MODEL-ZOO

拯救量化LLM的准确性

使用量化 LoRA (QLoRA) 对大型语言模型进行微调可以有效更新原始模型权重，但在将 LoRA 权重与量化基础权重合并时，最初可能会降低准确性。

MODEL-ZOO

Qwen2-VL OCR能力微调与量化

最近，我对 Qwen2-VL-2B 进行了微调，我的目标是使用此模型从车辆铭牌和底盘图像中提取所需的信息 (OCR)。

LLM

低端PC运行LLM的5个方法

本文介绍在低配置设备上运行大模型的技术方案，包括量化、半精度、SafeTensors、GGUF 文件格式、设备映射、注意力切片、CPU 卸载等。

APPLICATION

MacOS本地问答应用

在本指南中，我们将介绍如何设置 llama.cpp、加载 LLAMA 3.2 模型权重以及使用 LangChain 的框架创建问答应用程序。