TRANSFORMERS

MODEL-ZOO

Whisper本地推理的4种方法

本文总结l了4种在本地CPU上进行推理的方法：HuggingFace管道、ONN运行时、OpenVino运行时和PyTorch。

MODEL-ZOO

SmolVLM 小型视觉语言模型

本文介绍 SmolVLM，这是一款 2B VLM，内存占用率最低。SmolVLM 体积小、速度快、内存效率高，并且完全开源。

APPLICATION

基于GNN的欺诈检测和蛋白质预测

金融交易网络和蛋白质结构有什么共同点？它们在欧几里得 (x, y) 空间中的建模都不太好，需要对复杂、庞大且异构的图进行编码才能真正理解。

MODEL-ZOO

Gemma 2微调实现医学问答

本文旨在对医学数据集上的 Gemma 2 模型进行微调，重点关注其在医疗保健相关 QA 任务中的应用。

MODEL-ZOO

Idefics-2微调实现视觉问答

本文介绍如何使用Transformers库微调Idefics-2视觉大模型，来应对视觉问答任务。

MODEL-ZOO

MiniCPM-V端侧多模态大模型

MiniCPM-V 是一系列高效的 MLLM，旨在在手机和个人电脑等端侧设备上运行，使其成为各种 AI 应用程序的强大工具。

LLM

低端PC运行LLM的5个方法

本文介绍在低配置设备上运行大模型的技术方案，包括量化、半精度、SafeTensors、GGUF 文件格式、设备映射、注意力切片、CPU 卸载等。

APPLICATION

大模型微调改善SQL生成

在使用LLM 执行 SQL 生成任务时，通常难以生成准确的 SQL 查询，为此使用 QLoRA 在自定义数据集上微调大模型是一种有效的方法。

MODEL-ZOO

Legal-BERT 法律大模型微调

通过微调在法律语料库上预先训练的Legal-BERT模型，我们可以在合同分析、合规性监控和法律文件检索等任务中实现更高的准确性和可靠性。

LIBRARY

vLLM 大模型本地推理库

vLLM 是一个开源项目，允许你进行 LLM 推理和服务。本文介绍如何配置和运行 vLLM 以在生产中提供开源大模型的推理服务。

MODEL-ZOO

Phi-3.5电商数据集微调

本文加载Phi-3.5-mini-instruct 模型并对其进行微调，以根据文本描述对电子商务产品进行分类，并将 LoRA（低秩自适应）微调模型与基础模型合后推送到 Hugging Face。

LIBRARY

14个最常用的LLM框架

LLM 框架的主要目的是促进各种 AI 驱动任务的顺利运行，这些任务可能包括从检索信息和微调模型到无缝执行一系列操作。