一个人、两周、数百美元，如何训出登顶 Hugging Face 的模型 | 对谈研究员逯雨鑫

活动预告🥳：9 月 12 日，我们会请到雨鑫做一场线上活动，大家记得翻到 shownotes 末尾查看报名信息！

最近硅谷有了新热点：主权 AI 和 Personal Intelligence。简单来说，就是很多人开始相信，未来会有越来越多的应用公司和个人，训练自己的模型。

对绝大多数人来说，训练模型仍然是一件听起来遥不可及、门槛很高的事，但我们这期节目的嘉宾逯雨鑫却认为，它非常简单，简单到他此前没有 AI Lab 的经历，也不是 AI PhD，只用了 2 周和数百美元，就后训练出了两个登顶 Hugging Face Model Trending 榜首的小模型。

他具体是怎么做到的、摸索出了怎样的 Pipeline？过程中踩过哪些坑？以及无论对个人还是公司来说，训练模型最大的卡点都是数据，那么他是怎么攻克这个难题的？在蒸馏路线、数据来源上，又有哪些 secret sauce？

节目后半段，我们还进一步讨论了主权 AI、Personal Intelligence 和 Local AI 相关的各种问题，比如这些事情普及开来的门槛在哪里、未来 AI Lab 和应用公司的分工与价值会有什么变化等等。

就在一个月前，我们还在讲 AI 应用遭受的冷遇；但录完这期，我们好像又看到了应用的曙光。也许在不久的将来，越来越多的应用公司都会成为 Neo Lab，Local AI 也可能成为一个 PC 级别的机会。而拥抱模型训练和 Local AI，最好的时间可能就是现在。

希望雨鑫摸索出的实践路径，能给应用公司和个人带来一些启发。如果你还想了解更多，也欢迎报名 shownote 末尾的线上活动，来和雨鑫直接交流（尤其欢迎应用创业者！）

【人类博物馆】

导游：曲凯，42章经创始人

52 号珍藏：逯雨鑫，Mind Lab 研究员；以个人开发者身份、数百美元成本微调的模型两次登顶 Hugging Face 热度榜；focus 在 post-training（蒸馏、SFT）与数据工程，近期方向为 continued pre-training

【时光机】

Part 1 训模型的实操经验

• 01:33 非 PhD / AI Lab 背景，凭什么能训出榜一模型？

• 03:23 训这两个模型的成本具体有多少？

• 06:08 个人训模型的完整 Pipeline 和避坑经验

• 11:33 最大的难点和卡点：数据

  • 11:48 合成数据效果并不好？

  • 12:16 数据从哪来、具体要用多少、如何配比？

• 15:34 数据难以提前预估效果的原因：Capacity Gap

• 17:18 简评蒸馏的各种路线，以及到底什么叫「聪明地蒸」？

• 20:01 自己训、自己用，性价比真的更高吗？

• 22:10 坑最少的开源模型是？

Part 2 对主权 AI 的思考

• 23:44 自己训模型会成为应用公司的标配吗？

• 25:25 训模型可能会成为一件商品化的事情？

• 27:01 应用公司反而可能会成为 Neo Lab?

• 32:07 AI Lab 和应用公司之间的分工可能会有什么变化？

• 33:39 现在 AI Lab 砸钱买数据，就有点像移动互联网早期字节砸钱买用户

• 35:31 如果主权 AI 真的兴起，AI Lab 的价值会有什么变化？

• 36:59 Local AI 会不会成为 PC 级别的机会？

• 40:17 用户最终会不会还是希望用上 SOTA 级别的智能，而不是 Local AI？
  

【活动预告🥳】

9 月 12 日，我们会请到雨鑫做一场线上活动，感兴趣的朋友欢迎点击链接或扫描下面的二维码，一起来认识&交流！

【The gang that made this happen】

• 制作人：陈皮

• 剪辑：陈皮

• 片头：Mondo Bongo - Joe Strummer & The Mescaleros

• 片尾：Spacemen 3 - Set Me Free (Reprise)