【第697期】早期推理涌现：大模型推理数据的代币高效筛选

Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。

如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。

联系小助手微信：seventy3_podcast（加群/投稿论文）

今天的这篇的主题是：

Reasoning Quality Emerges Early: Data Curation for Reasoning Models

Summary

在少量高质量的长推理轨迹（long reasoning traces）数据集上进行监督微调（SFT），是激发大语言模型（LLMs）强大推理能力的有效方法。然而，现有用于筛选高质 SFT 数据的方法高度依赖强推理模型来根据多样性和难度筛选样本，这导致数据筛选过程成本高昂，且往往只能得到次优的数据质量。

在这项工作中，我们展示了仅利用初始的推理 Token 即可识别出具备多样性且富有挑战性的推理样本。具体而言，我们证明了：仅需根据预训练模型在随机扰动检查点（randomly perturbed checkpoint）下评估的前 100 个推理 Token 的损失（loss），就能可靠地检测出难题。我们进一步证明，在沿微调轨迹推断的少数扰动检查点上，在前 1k 个推理 Token 中表现出相似 Loss 模式的样本，在证明上（provably）会诱导出相似的梯度。

我们通过在 M23K 医疗推理数据集和 OpenThoughts-Math 数据集上微调 Qwen2.5-7B 与 Llama3.1-8B 模型的广泛实验验证了该方法。我们的方法在 Token 效率提升 91% 的同时，性能超越了现有基线高出最多 1.7%。

原文链接：https://arxiv.org/abs/2606.26797