ScholarCatalyst：一个用于检索启发新研究的论文的基准

研究者构建了 ScholarCatalyst 基准，让 207 篇近期计算机科学论文的 184 位第一作者标注哪些候选论文推动或可能推动了其项目，并给出理由。任务设定为：给定一个初期研究问题，仅用项目开始时可获取的文献检索这些论文。结果显示，Agentic search 的 Recall@20 为 0.42，不如 embedding retrieval 的 0.48；即便基于 Claude Fable 5.1 的 Agent 也只达到 0.51。

此前论文检索评估多依赖相关性或引文信号，缺少作者对自己研究起点的直接判断。该基准用作者标注衡量“是否真正启发新研究”，并显示 Agent 与强模型在该任务上提升有限，表明现有检索与 Agent 方法可能尚未掌握专家式选题直觉。

论文把“找到推动研究的关键先前工作”形式化为检索任务，以作者标注作为判断标准，并限定只用项目开始时的文献，从而避免模型依赖训练中见过的完成论文。Agentic search 虽调用同一检索器，但未超过 embedding retrieval，说明多步调用未自动转化为更强的文献直觉。

对科研辅助工具、学术搜索和研发知识管理而言，该结果提示仅靠 Agent 封装通用检索器可能不足以支撑选题与文献定位场景，需要专门训练或评估检索策略，并重视作者判断这类信号在评测与产品反馈中的价值。

• 在学术搜索产品中加入作者标注或研究起点回访机制，验证检索结果是否真正推动了用户选题。
• 针对初期研究问题构建限定时间窗口的检索评估集，避免模型依赖训练后才知道的论文。
• 为科研 Agent 增加专门的文献直觉训练或重排序模块，而非仅把通用检索器当作工具调用。
• 为研发团队提供选题前的关键先前工作追踪功能，用作者理由说明为何某篇论文被选中。

• ScholarCatalyst 的数据集与标注流程是否公开，能否复现 0.42、0.48 与 0.51 的对比结果。
• 作者标注在多大程度上反映真实研究起点，是否存在事后归因偏差。
• 其他模型、检索器或训练方法能否显著提高该任务上的 Recall@20。
• 该基准是否覆盖计算机科学之外的领域，结论是否具有跨学科适用性。