Tagged

FINE TUNING

A collection of 40 posts

FINE TUNING

微调专用小模型：实用指南

构建运行快速、成本低廉且超越通用模型的专业AI

LLM

LLM微调不太实用

我从2023年到现在进行了几次实验，最新的是使用Gemma 4。在所有这些之后，我得出了一个许多人也达成的结论：微调LLM以注入知识通常不值得努力。

MODEL-ZOO

在Kaggle上微调Qwen3.5-2B

本文将带领大家了解LLM微调的过程以及人们常犯的错误，至少是我自己在Kaggle上进行简单SFT（监督微调）时犯的错误。

TOOL

4个领先的大模型微调工具

微调效果如何仍然取决于三个因素：模型大小、硬件能力和所选择的框架。

MODEL-ZOO

微调一个函数调用小模型

在RidgeRun.ai，我们开始开发自己的小规模、本地运行的函数调用模型，有几个重要的原因。

MODEL-ZOO

大模型微调是浪费时间

人们认为可以通过微调注入知识。他们错了。

MODEL-ZOO

微调Qwen2.5-VL用于文档理解

本文将检查一个手写数字数据集、对其进行标注，并使用它来创建一个专门用于提取手写文本的微调后的Qwen 2.5 VL。

APPLICATION

过滤LLM查询请求

无论你的LLM应用设计用来做什么，用户总会尝试让它为他们写作业。在本文中，我们将探讨一种务实的方法，在用户查询到达你的大型语言模型（LLMs）之前对其进行过滤。

TOOL

用MLX-LM微调Mistral-7B

在本教程中，我们将借助 mlx-lm 包加载Mistral-7B-Instruct-v0.3–4bit 模型，并使用LoRA对其进行微调。

MODEL-ZOO

CLIP模型微调简明教程

CLIP 是一种流行的多模态嵌入模型，它使用对比学习在大量图像-标题对语料库上进行训练。 CLIP可以解锁零样本能力，例如图像分类、搜索和字幕。

MODEL-ZOO

DeepSeek-R1微调指南

在这篇博文中，我们将逐步指导你在消费级 GPU 上使用 LoRA（低秩自适应）和 Unsloth 对 DeepSeek-R1 进行微调。

MODEL-ZOO

ModernBERT微调实现文本分类

ModernBERT 是最近发布的传统 BERT 模型的改进版本，本文将深入研究针对文本分类任务对 ModernBERT 进行微调。

MODEL-ZOO

Donut模型微调实用指南

在本指南中，我将向你介绍我用来微调 Donut 模型的确切步骤，以便你可以根据特定领域的需求对其进行调整。

MODEL-ZOO

LLM微调综合指南

训练和微调模型是一项昂贵的苦差事，如果可以的话，你真的应该避免它，把省下的钱花在去阿鲁巴岛或任何你喜欢的度假胜地的旅行上。

APPLICATION

大模型训练/微调硬件指南

在本综合指南中，我们深入研究了训练和微调 LLM 所需的基本硬件设置，从普通的 7B/8B 模型到尖端的 70B 模型，以帮助你实现 AI 抱负。

MODEL-ZOO

PaliGemma2微调优化图像理解

通过使用自定义数据集（例如知名的 VQA）对 PalliGema2 进行微调，可以在高度特定的任务上实现最先进的性能，以连续且可扩展的方式弥合文本和视觉理解之间的差距。

TOOL

Unsloth大模型微调简明教程

在本文中，我们将介绍使用 Unsloth 库训练和微调语言模型的过程。我们将分解所提供代码的每个部分，解释其功能和用途。

APPLICATION

LLM微调实现网络攻击检测

在这篇文章中，我将探讨 LLM 微调在网络安全领域预测任务中的更高级用例。具体来说，我提出了一种使用微调 LLM 进行实时网络攻击检测的机制。

MODEL-ZOO

Llama3微调优化关系提取

在 Llama3–70B 的帮助下，我们构建了一个旨在进行关系提取的监督微调数据集。然后，我们使用该数据集对 Llama3–8B 进行微调，以增强其关系提取能力。

MODEL-ZOO

Colab+Drive微调大模型

Google Colab 慷慨地为你提供了一种访问免费GPU计算的方法，使用 Google Drive 保存任何中间结果或模型参数。

MODEL-ZOO

拯救量化LLM的准确性

使用量化 LoRA (QLoRA) 对大型语言模型进行微调可以有效更新原始模型权重，但在将 LoRA 权重与量化基础权重合并时，最初可能会降低准确性。

TOOL

Axolotl大模型微调工具

Axolotl 是一种旨在简化各种 AI 模型微调的工具，支持多种配置和架构。

MODEL-ZOO

StarCoder私有代码库微调

在本文中，我们将展示如何在私有代码库上微调StarCoder，以增强其上下文感知能力并提高模型对组织需求的实用性。

TOOL

ComfyUI FLUX LoRA微调工作流

本文介绍的 ComfyUI FLUX LoRA 训练工作流使你能够使用自己的数据集微调预先存在的 FLUX 模型。

MODEL-ZOO

Gemini问答数据集微调

本文介绍如何通过构建一个基于斯坦福问答数据集 (SQuAD 1.1) 微调的强大问答系统来增强 Gemini 1.5 Flash 的功能。