用 AI 智能体给自己造模型:两天、103 美元、6 个小模型

想要的小模型不存在,就自己造一个。用 Hugging Face 的 ML Intern 智能体,作者在两天里造了 6 个模型:柑橘病害 VLM、角色 LoRA、相机角度 LoRA、0.8B 口袋改写器、4 步出图模型……总算力约 103 美元。附提示写法与成本表。

分享
用 AI 智能体给自己造模型:两天、103 美元、6 个小模型

一句话结论:当你要的模型"不存在"时,可以让 AI 智能体替你去训练它——描述清楚需求、给个预算,它自己跑数据、训练、评估、发布。作者用 Hugging Face 的 ML Intern,两天造了 6 个模型,总花费约 103 美元。

本文完整编译自 Hugging Face 博客《The model that didn't exist, so you made it yourself》(2026-10-08)。


起点:想要一个小模型,官方只有大的

作者想要一个小体积的"提示改写器"——Qwen-Image 2.1 自带的那个版本是 9B,需要约 20GB 显存,还要"想"上千个 token 才写出一段提示词。Hub 上只有同一个 9B 的压缩版。

于是他把需求描述给 ML Intern,第二天就得到了一个 0.8B 的版本:

  • 能在 CPU 上跑;
  • 99.7% 的输出是有效的;
  • 只用了教师模型约 1/4 的 token;
  • 整个项目(含让 9B 给 8,797 条请求打标签)算力约 16 美元。

接下来几天他又用同样方式造了 5 个模型。每一个都始于 HuggingChat 里一条开启 ML-intern 模式的消息,终于 Hub 上一个公开模型 + 模型卡里的评测。

ML Intern 会:规划工作 → 花钱前先要预算 → 正式跑之前先做小测试 → 训练、评估、并在 Hugging Face 的算力上发布。

怎么给 ML Intern 写提示

第一条消息是投入精力的地方。 作者的第一个提示(citrus 模型)约 450 词;到第 6 个项目时接近 2000 词——因为每个项目都教会他"下一个想要什么"。7 个提示都放在 GitHub:yvrjsharma/ml-intern-prompts。

一个提示的结构:

  1. 一行想法 + 为什么想要它。
  2. 点名具体要素:数据集、基座模型、训练脚本。
  3. 已验证事实:把已经查过的东西放进一个明确写着 "Verified facts, do not re-derive"(已验证,不要重新推导) 的段落——这样智能体把预算花在干活上,而不是重复你已经知道的。
  4. 两条关键指令: - 开始前先要 baseline:例如 citrus 提示里写"训练前也报告基座模型在同一指标上的零样本分数,好看出增益"。没有它,你只会拿到一个训练好的模型,却不知道它是否比原来的更好。 - 带检查的冒烟测试(smoke test):做图像 LoRA 时,他先要 50 步训练,并检查保存的权重确实变了,再去付钱跑全量。
  5. 结尾列交付物 + 限成本:定义模型卡里该有什么,并写"总花费上限 12 美元,超过前先问我"。
因为 ML-intern 每个任务都从 0 预算开始、执行付费任务前需要许可,所以这个上限会被严格执行。如果你不写预算,它会根据项目规模给几条路径让你选。

也不是第一次就要写全。作者的 citrus 简报里没有"已验证事实"段,ML Intern 依然产出了一个把 Qwen3.5-2B 准确率提升 3 倍多的模型。

下面是他两天里做的 6 件事。

1. 一个"懂你领域"的模型(柑橘病害)

通用视觉模型能描述"发黄的柑橘叶",但很难判断是螨虫还是缺镁,更别说给出生物/非生物的防治方案。

作者用 Claude 把三个来源的数据集合并成训练集(来自 Hub 上的 Project-AgML 组织):citrus-disease-vlm-instruct 含 3,017 张标注图,覆盖 21 种害虫、病害、营养缺乏与处理方式。ML-intern 负责微调 Qwen3.5-2B,并在训练前先做了基座评测。

结果:335 张测试图上,基座模型答对率 14.9%;在一个 A10G 上训 2 个 epoch 后,微调模型到 52.8%。算力约 1.90 美元。

2. 一个会画"你角色"的模型(Huggy LoRA)

图像模型认识很多角色,但 Hugging Face 品牌风格的 Huggy 不在其中。

作者让 ML-Intern 在 FLUX.2 klein base 4B 上做 LoRA,训练数据是 84 张带标注的 Huggy 画作。

智能体每 100 步存一次 checkpoint,并用同一组提示词各画一遍,方便挑选:

  • 第 200 步:Huggy 第一次"完全贴合"角色;
  • 从第 500 步起:Huggy 的风格开始渗进与 Huggy 无关的提示词里(过度训练)。

该 LoRA 也能用在 4 步的 distilled klein 模型上。算力约 7.60 美元。

3. 一个会"新把戏"的模型

3.1 相机角度 LoRA(Viewpoint Orbit)

相机角度 LoRA 是 Qwen-Image 早期模型最受欢迎的社区插件之一:给一张物体照片,要求"从左侧 45 度看它"。作者在 Qwen-Image 2.1 发布几天后去看,发现还没人做,就让 ML-intern 来造。

  • 从 Google Scanned Objects 渲染 1,030 个家居物体,每个 24 个角度,共 24,722 张透明图(CPU 任务,几美分);
  • 最终 461 个物体用于训练、40 个留出测试,1,844 组训练前后配对,均匀覆盖 23 种相机指令;
  • 训练在一个 A100 上跑 2,000 步、约 90 分钟(~3.75 美元)。

整个项目约半天、48 个任务(含因缺包/路径错而失败、被 ML-Intern 重投的)。总算力约 16 美元。

相机角度 LoRA:给一个物体,指定从哪个角度看它

3.2 Doodle-in LoRA(涂鸦变物体)

另一个点子:上传一张照片,上面画个品红色涂鸦,再给一句命名物体的提示。LoRA 把涂鸦替换成该物体,同时保持原光照与构图一致。

因为没有现成数据集,提示里就描述"怎么造数据集":从 Open Images 取真实照片 → 用 LaMa inpainting 模型抠掉一个物体 → 在原位置画涂鸦;未改动的照片作为目标。

ML-intern 先在 CPU 沙箱里写并测试配对脚本,再到 GPU 上跑,沿途记录每张源图的作者与许可。它造了 6,042 组训练配对和 160 组测试(其中 40 组来自完全未参与训练的 23 个类别)。

训练前,它先单独评测基座模型,再评测带 Viggle turbo LoRA 的版本,并确认"批量编辑能得到相同图像",从而让评估更省。训练 2,000 步、1 小时 38 分(~4 美元),在 48 组测试上比较各 checkpoint 后选了第 500 步。

配上 Viggle turbo LoRA、6 步出图时,效果很好:67.5% 的物体出现在被画的位置,每次编辑 4.7 秒;未见过类别的成功率(65.0%)与其它(64.2%)相当。项目一天多、59 个任务,总算力约 24 美元。

4. 一个"塞进你设备"的模型

4.1 Pocket Rewriter(口袋改写器)

就是开头那个:ML-intern 先用一个小 instruct 模型通过 Inference Providers 生成 8,797 条短图像请求(混合了照片、海报、logo、信息图等,约 1/3 要求精确文本,很多是非英文);9B 教师模型在一个 A100 上 2 小时 37 分把它们全部改写(~6.50 美元)。过滤质量后,1,840 条进入训练集。

训练 0.8B 与 2B 学生模型分别只要 12 和 18 分钟(一个 A10G,两者共 0.75 美元)。0.8B 还附带一个 812MB 的 GGUF 文件,可直接在 CPU 上跑。项目约 11 小时、24 个任务,总算力约 16 美元。

Qwen-Image 2.1 Pocket Studio

4.2 Agate Preview 002 的 4 步版

Logolabs 的 Agate Preview 002 是一个 260M 参数的文生图模型,小到能进浏览器,但需要 50 步 + guidance,即每张图 100 次网络前向。作者让 ML-intern 把它蒸馏到只要 4 步!

分两轮:

  • 第一轮:缓存 155,000 张训练图为 latent,把 guidance 烘焙进模型,再把步数从 16 → 8 → 4 分阶段压缩(全程 A100)。4 步学生在 GenEval 和 FID 上超过了同样 4 步的教师。之后导出 ONNX 给浏览器用。约 13 小时、22 美元。
  • 第二轮:再让教师用 16 步生成 24,000 组图像对,对 4 步学生再微调约 1 小时。GenEval 从 0.509 → 0.536(教师 50 步为 0.563),而只用 4 步(1/4 算力)。约 8 小时。

两轮总算力约 37 美元。

真实账单

模型 基座 算力
Citrus Doctor Qwen3.5-2B USD 1.90
Huggy LoRA FLUX.2 klein base 4B USD 7.60
Pocket rewriter(0.8B 与 2B) Qwen3.5-0.8B / 2B USD 16.05
Viewpoint Orbit LoRA Qwen-Image 2.1 USD 16
Doodle-in LoRA Qwen-Image 2.1 USD 24.30
Agate 4-step(两轮) Agate Preview 002 USD 37
合计 约 103 美元

(上表是各会话报告的 GPU/CPU 任务费用。)

你也可以这么做

ML-intern 就在 HuggingChat 里。打开 ML-intern 模式,粘贴提示即可。 想找起点,作者的示例提示可自由复制。

建议:

  • 从"你希望存在的模型"和"你手上有(或能描述)的数据集"出发;
  • 给一个小预算;
  • 要求baseline和冒烟测试;
  • 先读它返回的结果,再决定要不要提高预算上限。

参考来源

延伸阅读(本站)

本文由汇智网编译整理,转载请注明出处。

阅读更多