【第678期】OpenClaw-Skill：基于集合技能树搜索的智能体强化学习

Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。

如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。

联系小助手微信：seventy3_podcast（加群/投稿论文）

今天的这篇的主题是：

OpenClaw-Skill: Collective Skill Tree Search for Agentic Large Language Models

Summary

为大语言模型（LLM）Agent 赋予有效的技能，对于解决像 OpenClaw 这类现实世界系统中的复杂任务至关重要。在这项工作中，我们的目标是开发一个能够自动构建此类可重用技能的框架，从而增强 LLM 在工具使用、多步推理以及动态环境交互方面的能力。

为此，我们提出了群体技能树搜索（Collective Skill Tree Search，简称 CSTS），这是一种全新的基于树搜索的技能构建框架，能够构建出结构化、多样化且具备泛化能力的技能树。CSTS 的核心思想是利用群体智慧，通过两个迭代阶段来共同搜索、识别与组合有效技能：群体技能节点生成（CSN-Gen）和群体技能节点评估（CSN-Assess）。CSN-Gen 利用来自多个模型的群体知识，为每个子任务探索多样化的候选技能，从而实现全面的技能探索。CSN-Assess 则采用多个模型作为裁判，通过两种打分机制来评估和选择技能节点：（1）群体质量打分，通过聚合独立评估，对技能有效性做出稳健的估计；（2）群体可迁移性打分，显式地验证某项技能是否能在不同模型间良好泛化。

借由 CSTS，我们构建了一套完整的技能树以及技能增强的训练数据，使模型能够有效地学习并利用技能。此外，我们还引入了群体技能强化学习，它能主动从树中选择多个相关技能，以拓宽解空间探索，避免陷于单一技能及其产生的同质化或次优解中。

结果表明，我们训练出的模型 OpenClaw-Skill 在长流程规划、工具使用以及挑战性基准测试的泛化能力方面，展现出了卓越的 Agent 能力。

原文链接：https://arxiv.org/abs/2606.16774