【第643期】强化学习推理模型的推理时博弈与增强

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

今天的主题是：

Agentic Systems as Boosting Weak Reasoning Models

Summary

一个由弱推理模型调用组成的委员会，能否达到更强模型的性能？我们将“基于验证器支持的委员会搜索”（verifier-backed committee search）作为推理语言模型在推理阶段的提升机制（inference-time boosting）进行了研究。

这一机制并非简单地依靠“智能体越多越好”：样本能够暴露潜在的正确解决方案，而批评器（critics）和比较器（comparators）必须在无法访问隐藏验证器的情况下恢复这些方案。我们通过将该视角拆分为：提案覆盖率（proposal coverage）、局部可识别性（local identifiability）、进展（progress）和多样性（diversity），从而将其公式化。我们证明了通过重复采样可以放大覆盖率，但采样本身无法创建有效的批评器或比较器；可靠的性能放大需要额外的局部正确性信号（local soundness signal），例如执行、证明检查、类型检查、测试或约束求解。我们给出了基于排名的边界，展示了局部选择错误在何时会组合成可靠的轨迹，并刻画了提案侧的天花板：预知（oracle）最高期望值 best-of-k 仅收敛于提案系统分配了非零有用概率的任务切片总量。

在实验中，在 SWE-bench Verified 基准测试上，单次 GPT-5.4 nano 提案可以解决 67.0% 的任务。使用相同的 nano 模型，我们的“批评器-比较器”编排机制在 k=8 次提案中达到了 76.4% 的准确率，追平了 Gemini 3 Pro 和 Claude Opus 4.5 Thinking 的独立表现，并逼近了 79.0% 的预知（oracle）best-of-8 上限。

因此，许多正确的补丁（patches）已经存在于弱模型的提案池中，主要的挑战在于如何将它们筛选出来。而剩余的失败案例则大多属于提案覆盖率失败，这表明存在着仅靠更强选择机制也无法弥补的共同盲区。

原文链接：https://arxiv.org/abs/2605.14163