113. 和杨植麟时隔1年的对话：K2、Agentic LLM、缸中之脑和“站在无限的开端”

今天的嘉宾是月之暗面创始人兼CEO杨植麟，距离他上一次来我们的节目（《商业访谈录》59集）已经过去1年半。

就在刚刚过去的7月，Kimi K2模型发布，引发了比较广泛的关注。K2是一个基于MoE架构的开源编程和Agentic大语言模型。形象来说，模型借助编程能力走出封闭的“缸中之脑”，长出了“手”，开始操控外部数字世界。

今天这集节目我和杨植麟聊了聊K2的研发和他当下的技术认知、技术判断。

以及，在过去一年的舆论风暴与创业起伏中，作为创始人，他的心情与思考。

01:49 一座无限的山

这有点像我最近在看的一本书：The Beginning of Infinity（无穷的开始）

也许有一天会发现，这座雪山没有尽头，我希望它一直没有尽头

但它还是一个“缸中之脑”：想象一个鱼缸，你把一个脑子放在里面，跟外界没有联系

不管是基于长思考的强化学习，还是Agent的强化学习，都指向同一个东西：test-time scaling（测试时扩展）

还有一个很有意思的趋势是，现在有更多模型公司去做“一方的Agent产品”

L1到L5不一定是串行关系，Claude就bet这一点：它在Reasoning上做得不是特别多，但在Agent上做得非常好

只有当模型参与到开发过程，才能解锁真正的Innovator（L4）阶段

24:58 K2是乔戈里峰

K2的重点有几个：一，我们希望它是一个非常好的基础模型

我们希望能最大化使用每一份数据，就是所谓token efficiency——喂一样多的数据，“脑子”长得更多

我们会对数据做很多Rephrase（改写）操作

我们很关注Muon优化器，它对token efficiency提升很大

二，我们希望K2有好的Agentic能力，对于Agentic模型来讲，最大挑战是模型的泛化

它可能是一个从“缸中之脑”变成可以跟世界交互，因为所谓Agent最重要的特征是，可以多轮地使用工具

人是所谓的universal constructor（万能构造器）

有一种潜在思路，需要用更AI native（原生人工智能）的方式去训练AI

Muon你去训的时候，它会炸

54:08 既简单又复杂的系统

为什么Kimi从闭源转向开源？

模型训练完成，产品也基本完成了，做交互上的改进当然有价值，但那是锦上添花的一步

多模态不损伤“脑子”已经很好了

你可能学出来的多模态是个“傻的多模态”，我们希望它是个“聪明的多模态”

Scaling Law遇到数据墙了，这是客观事实

数据飞轮很依赖外部环境的feedback（反馈），我们不希望feedback有很多噪声，但现在没有把这个问题解决得非常好

现在看起来，基于FLOPs的scaling是更有效路径，但这个平衡什么时候会发生变化？

很多Long Context架构会影响“智商”

纯粹的Linear Attention（线性注意力机制）可能影响智商，因为这个架构会有一些bias（偏差）

基座模型公司和做Agent产品的应用公司，长期看边界在哪？

今天怎么思考商业模式？API是好生意吗？

Kimi能赚钱吗？

01:25:05 在自己的故事里面

Tim（周昕宇）天天跟我讲——要用RL的方式去管理，而不是用SFT

用RL管理团队最大问题是，你容易被hack

很多复杂性都是人为强行加上去的，实际并没有那么复杂

只能说是在自己的这个故事里面——你不断地感受自己到底是什么样的一个人，你为什么要做这个事情

这个问题我也问过Kimi，他说，AI是“人类文明的放大器”

这也是Kimi跟我讲的——任何中间状态都有可能成为被批评的对象

肯定有恐惧，更多要关注你当前这一步，能做什么？——想这个问题更重要

2024年对杨植麟的访谈：

《和杨植麟聊大模型创业这一年：人类理想的增量、有概率的非共识和Sora》

【更多信息】

文字和视频版同步上线

文字版请前往公众号：语言即世界language is world

视频版请前往Bilibili：张小珺商业访谈录