> ## Content Index
> Fetch the complete content index at: https://www.hubwiz.com/blog/llms.txt
> Use this file to discover other available public pages before exploring further.

# Argilla：开源的数据策展工具
- URL: https://www.hubwiz.com/blog/argilla-open-source-data-curation-tool/
- Published: 2025-12-05T03:10:32.000Z
- Updated: 2025-12-05T03:12:26.000Z
- Description: 如果你想更进一步，微调自己的模型，那么可以使用Argilla构建自己的数据集。
- Author: admin
- Tags: DATASET, ARGILLA, #Import 2026-10-14 14:41

许多博客都在讨论如何针对特定用例微调模型，从而节省成本并提高隐私性。直到最近，微调自己的模型仍然面临诸多挑战：

• 数据获取 • 数据准备 • 微调基础设施（GPU） • 部署和推理基础设施 • 成本因素

由于这些障碍，许多个人和公司选择直接使用厂商提供的基础模型，例如 ChatGPT 或 Claude 等应用。一些人也对更高级的 AI 聊天应用感兴趣，例如使用 Ollama 或其他开源模型的 OpenWebUI。当然，市面上还有很多其他应用，但你应该明白我的意思。

如果你想更进一步，微调自己的模型——无论是使用合成数据、标注数据，甚至是现有对话数据——现在你可以使用 Argilla 和 OpenPipe 等开源技术，只需点击几下鼠标，几乎无需编写任何代码即可完成。

## 0、我们使用的工具

数据生成：

- [合成数据生成空间](https://huggingface.co/spaces/argilla/synthetic-data-generator?ref=hubwiz.com)
- [Argilla HF 空间](https://huggingface.co/spaces/argilla/argilla-template-space?ref=hubwiz.com)

微调：

- OpenPipe
- OpenAI（可选）

推理：

- OpenPipe
- OpenAI（可选）
- Ollama（可选）

> 什么是数据集生成器和 Argilla

简而言之，数据集生成器使用AI生成数据。也就是说，用户指定数据的内容（例如，客户支持请求），然后让AI猜测人类的响应，例如，对请求的恰当回复。Argilla 更进一步，允许您使用相同的生成数据集，并让人工进行审核，并在必要时进行修正。最终的数据集随后用于微调模型，使其成为执行此任务的专家。

开始吧！

## 1、启动Argilla

克隆[ Argilla 的 HF Space](https://huggingface.co/spaces/argilla/argilla-template-space?ref=hubwiz.com) 并启动它。确保它是公开的，以便数据集生成器可以发布数据集。

在 Space 的设置中，设置一个用户名和密码，以便稍后登录。如果一切正常，您应该会看到类似这样的信息：

![](https://www.hubwiz.com/blog/content/images/2025/12/image-23.png)

使用您提供的用户名和密码登录。

点击“从 Python 导入”（如下图所示），并保存 Argilla 的 URL 和密钥，以便稍后在数据集生成器中输入：

![](https://www.hubwiz.com/blog/content/images/2025/12/image-24.png)

> 请注意，API 密钥会在每次 Space 重启时更改，因此最好将 Argilla 的设置持久化，如本文所述。您可以在日志中查看启动进度。

前往合成数据生成器 Space 并将其克隆。

打开设置，并提供至少以下四个环境变量：

![](https://www.hubwiz.com/blog/content/images/2025/12/image-25.png)

Argilla 空间看起来是这样的：[https://airabbitx-argilla.hf.space](https://airabbitx-argilla.hf.space/?ref=hubwiz.com)

默认模型是 meta-llama/Llama-3.1–8B-Instruct。

> 请注意，要使用 meta-llama 模型，您需要在 meta-llama/Llama-3.1–8B-Instruct 的模型页面上申请访问权限。您需要填写一份表单，并等待大约半小时才能获得访问权限。> 另请注意，上述模型需要 Hugging Face Pro 订阅，每月费用约为 10 美元。您也可以尝试使用较小的模型，例如 3.2–3B，但我尚未对其进行测试。您可以使用 Hugging Face 模型 Playground 或通过 cURL 调用端点来检查您是否拥有模型预测端点的访问权限。cURL 代码片段可以在 Playground 中找到。

## 2、创建示例数据集

在聊天数据选项卡中选择第一个示例，然后点击“创建”，即可生成一个简单的聊天数据集。

![](https://www.hubwiz.com/blog/content/images/2025/12/image-26.png)

> 如果遇到任何错误，建议您查看如下所示的空间日志，或者在空间 URL 中添加“/settings?logs=container”。

如果一切正常，您现在应该可以看到生成的示例数据集。请注意，您可以在创建后编辑生成的系统提示。

> 什么是生成的数据集？

如果您想知道生成数据集的具体含义：它只是使用系统提示调用模型，并保存模型返回的补全结果（同样的概念也适用于其他类型的微调，例如文本分类）。

> 为什么需要 Argilla？

模型生成的答案是微调的良好起点（您可以将 LLM 答案替换为人类答案），尤其是在生成这些答案的模型比您计划微调的模型更智能的情况下（例如，使用 GPT-4 作为教师模型来微调 Llama 3B）。

在某些情况下，您可能需要通过人工审核 LLM 在生成过程中猜测的标签来进一步改进数据集。

好的，我们继续。

## 3、生成新样本

当您对结果满意后，即可进入最终阶段。创建完整数据集的步骤。请注意，步骤 2 中创建的只是一个样本。

点击“保存”后，它将根据之前生成的系统提示开始生成新的样本。

对于文本分类数据集，结果可能如下所示：

![](https://www.hubwiz.com/blog/content/images/2025/12/image-27.png)

对于聊天补全（我们将在本教程中用它来微调 Llama，以及可选的 OpenAI），点击几次后结果如下所示：

![](https://www.hubwiz.com/blog/content/images/2025/12/image-28.png)

完成后，点击“推送到 Hub”。现在它将创建完整数据集（不仅仅是发布！），并将其发布到 Hugging Face 和 Argilla（如果提供了 API 密钥）。

![](https://www.hubwiz.com/blog/content/images/2025/12/image-29.png)

请注意，微调通常至少需要 50-100 个数据集（参见下文 OpenPipe）。

如有需要，请务必选中“私有数据集”选项。

在 Argilla 中，您还可以从 Hugging Face 导入公共数据集，但您必须自行配置标注。因此，数据集生成器自带的导出功能可以简化您的操作。

几分钟后，您应该可以在 Hugging Face 中看到导出的数据集。现在，您可以在 Argilla 中使用该数据集进行人工标注（可选）。

您的数据集现在应该可以在 Hugging Face 个人资料的“数据集”部分以及 Argilla 中找到：

![](https://www.hubwiz.com/blog/content/images/2025/12/image-30.png)

Argilla 中也应该提供相同的完整数据集：

![](https://www.hubwiz.com/blog/content/images/2025/12/image-31.png)

## 4、（可选）标注数据

现在我们可以开始在 Argilla 中标注数据，并最终将其保存到 Hugging Face。在下面的示例中，我们生成了一个文本分类数据集，用户现在可以编辑 LLM 做出的分类（有用 vs. 无用）。然后，我们将 LLM 标注和人工标注的数据集保存起来以进行微调：

![](https://www.hubwiz.com/blog/content/images/2025/12/image-32.png)

请注意，在聊天补全的情况下（例如，我们在 ChatGPT 中看到的，人与 LLM 之间的一轮或多轮对话），标注方式略有不同。您可以查看对话，包括 AI 的回答以及评分（并非由 AI 标注！）。

用户可以对结果进行评分。之后，在微调过程中，我们可以只选择那些由人工标注者评分较高的结果。

![](https://www.hubwiz.com/blog/content/images/2025/12/image-34.png)

  
现在我们已经完成了数据集生成步骤。这是最难的部分——现在我们可以使用此数据集进行微调。

---

原文链接：[From Synthetic Data Generation to Fine-Tuned LLM](https://medium.com/codex/zero-code-data-generation-and-llm-fine-tuning-part-i-e68793286120?ref=hubwiz.com)

汇智网翻译整理，转载请标明出处