【第653期】CUSP：人工智能预测科学进展基准研究

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

今天的主题是：

Forecasting Scientific Progress with Artificial Intelligence

Summary

人工智能（AI）正越来越多地融入科学发现之中，然而它是否能够预见科学进展仍不明确。为了研究这一问题，我们引入了一个在受控知识约束下预测科学进展的时间落地评估框架。我们提出了 CUSP（基于截止日期约束的未见科学进展，Cutoff-conditioned Unseen Scientific Progress）——这是一个多学科且事件级别的基准测试，它通过可行性评估、机制推理、生成式解决方案设计以及时间预测来评估 AI 系统中的科学预测能力。

在 4,760 个科学事件中，我们观察到当前尖端模型存在系统性且高度依赖特定领域的局限性。虽然模型能够从竞争候选方案中识别出合理的合理研究方向，但它们无法可靠地预测科学进展是否会真正实现，并会系统性地错估进展发生的时间。不同领域的表现存在极大的异质性，其中 AI 自身进展的时间比生物学、化学和物理学的进展更具可预测性。

无论是事件发生在训练截止日期之前还是之后，模型的表现基本不受影响，这表明这些局限性不能完全用训练数据中的知识暴露来解释。在受控的信息获取条件下，增加截止日期前的知识可以提高性能，但无法消除与全信息设置之间的差距，而这一差距在具有高引用量的重大进展中表现得更为明显。此外，模型还表现出系统性的过度自信和强烈的响应偏差，这表明其不确定性估计并不可靠。

总而言之，当前的 AI 系统在作为科学进展的预测工具时表现不佳。获取先验知识并不能转化为可靠的预测能力，并且模型在性能上更多得益于事后信息的提供，而非前瞻性的预测。

原文链接：https://arxiv.org/abs/2605.22681