SAFETENSOR

LLM

低端PC运行LLM的5个方法

本文介绍在低配置设备上运行大模型的技术方案，包括量化、半精度、SafeTensors、GGUF 文件格式、设备映射、注意力切片、CPU 卸载等。