RATIO：科学文献中类型化构思操作检索的基准

RATIO是一个大规模基准测试，目标是在科学文献中实现三类启发式操作——Address、Broaden、Specify的检索。它基于CS领域的数百万篇全文论文构建，采用语篇标记远距离监督并辅以LLM和人工审核。实验显示，针对操作的特化微调能显著提升检索性能，但仍留有改进空间。

此前检索基准主要关注相关性或问答，未区分启发类型。RATIO首次将文献检索与构思操作（直接解答、泛化、具体化）关联，使检索系统能按不同抽象层次提供灵感，对AI辅助科研和创意发现具有实质作用，并为该领域提供可扩展的训练评估框架。

RATIO采用语篇标记远距离监督，从全文论文中自动生成大规模训练数据，这一方法此前仅用于分类，现扩展至语料规模的检索。通过定义Address、Broaden、Specify三类操作，RATIO使检索器能学习区分不同启发意图，并通过LLM与人工审核保证数据质量。操作特化微调能针对性地优化检索模型，从而提升对特定启发需求的回应能力。

对使用文献检索的科研工具（如论文推荐、AI辅助写作、知识平台）而言，此基准可指引其检索模型升级，以支持不同抽象层级的灵感获取。需要结合操作特化微调，可能增加算力成本，但能显著改善用户体验，尤其满足科研用户对思路拓展或具体方案的需求。

• 开发基于RATIO的论文检索插件，允许用户选择“直接方案”“泛化思路”或“具体实现”三种模式，提升科研文献检索效率。
• 将RATIO的操作特化微调方法应用于现有检索模型，优化输出结果的层次和多样性，增强产品差异化。
• 构建面向产品经理的灵感检索工具，利用RATIO思想从多领域文献中提取问题解决、趋势泛化和具体落地路径。
• 与学术出版商合作，集成RATIO基准的评估框架，提供检索模型性能的标准化度量，辅助模型选型和优化。

• RATIO中的语篇标记远距离监督方法是否适用于非CS领域的科学文献？
• 操作特化微调在真实用户场景中是否显著提升任务完成度或满意度？
• RATIO的构建流程是否依赖大量人工标注，其可扩展性是否受限？
• RATIO基准是否包含跨语言或多语言的文献检索支持？