FinFIRST：面向金融信息检索、来源与可追溯性的搜索智能体基准

研究者发布金融搜索智能体评测基准 FinFIRST，首次同时评估最终答案与支撑证据。该基准含 123 个由 50 余位金融专家按 18 字段分类法与六轴覆盖蓝图编写的任务，并建立 138 个金融信源登记表，经六阶段质控流程。每个任务被拆解为原子评分项，覆盖原始信息获取、信源验证、计算与答案形成三个维度。在统一工具设置下评测 15 种模型配置，Claude-Opus-5 原子得分最高 87.59%，GPT-5.6-Sol 严格通过率最高 71.54%，各系统的计算与答案形成环节均落后于原始信息获取。

此前的金融或通用检索基准基本只看最终答案对错，无法定位错误出在检索、信源选择还是计算环节，也难以判断答案是否有据可依。FinFIRST 通过原子评分项把答案与证据一并评估，使错误可归因、结论可追溯，并首次用统一工具设置横向比较多种模型配置，给出了可复现的能力分层依据。

该基准把真实金融场景抽象为 18 字段分类法与六轴覆盖蓝图，从 138 个金融信源中取样并由专家编写任务，再经六阶段质控保证质量。评分侧不依赖单一结果，而是把参考答案拆成原子判据，分别对应信息获取、信源验证、计算与答案形成三个维度，因此既能评估答案正确性，也能评估证据链完整度，从而暴露模型在各环节的能力差异。

对做金融问答、投研辅助或合规检索的产品团队，这份基准提示评测指标应从答案准确率扩展到证据可追溯性，产品需要保留检索来源、时间有效期、单位与口径对齐等中间产物。研发上可据此定位瓶颈更多出现在计算与答案组织而非信息获取，从而优先投入推理与核对环节，并建立可审计的引用链路。

• 在金融问答产品中引入基于原子判据的自评流程，分别统计信息获取、信源验证与计算三个环节的通过率。
• 建立企业内部金融信源登记表，标注权威级别与时效范围，供检索与引用时自动筛选。
• 将答案输出改为结论加可验证证据包的形式，附带来源、时间区间、单位与口径说明。
• 针对计算与答案形成环节设计专项测试集，用于模型选型与回归验证。

• FinFIRST 的任务与参考答案包是否已公开，可否直接复用于企业内部评测。
• 严格通过率的判定标准与原子得分之间的关系在原文中如何定义。
• 138 个金融信源的具体构成与更新机制未在证据中说明。
• 评测结论主要来自摘要，15 种模型配置的完整排名与细项差异尚不明确。