E2A-Bench：金融图表推理中证据到行动可靠性的基准测试

研究者提出 E2A-Bench，一个包含 969 条查询的金融图表推理基准，取材于 323 只 HS300 成分股，覆盖三种输入模态，并带有由 OHLCV 推导的确定性证据锚点。该基准通过 UCR、RCI、ECI、NDR 四项指标评估 grounding、推理与行动一致性、证据与置信度校准以及方向覆盖。对 20 个 VLM 的评测暴露了三类被标量幻觉分数掩盖的失败：方向覆盖率低至 6.4%、辅助验证会压缩覆盖范围、金融微调把 BUY:SELL 比例放大 4.21 至 4.68 倍。

此前的幻觉评测多停留在断言是否有依据，无法追踪证据经过推理、置信度到最终行动建议的完整链路。E2A-Bench 把评测对象从单条陈述扩展到证据到行动链条，并指出单一幻觉分数会掩盖方向覆盖不足与买卖倾向失衡等问题，为金融 VLM 评测提供了不同的衡量维度。

基准用 OHLCV 推导的确定性证据锚点约束输入，再以 UCR 衡量证据可追溯性、RCI 衡量推理与行动一致、ECI 衡量证据与置信度校准、NDR 衡量覆盖感知的证据到行动可靠性，而非真实交易收益。这样可把覆盖不足、校准失真与方向偏置分别暴露出来，而不是被合并进一个标量分数。

若团队使用 VLM 生成金融图表解读或行动建议，仅看幻觉率不足以判断可用性，需要同时监测方向覆盖与买卖倾向。微调会显著放大 BUY:SELL 比例，说明训练数据与目标函数可能引入系统性方向偏置；引入辅助验证也可能缩小可覆盖的样本范围，需在准确性与覆盖率之间显式取舍。

• 在金融图表类 AI 产品评测中引入 UCR、RCI、ECI、NDR 四类指标，替代单一幻觉率作为上线门槛。
• 对微调前后的模型分别统计 BUY:SELL 输出比例，将方向偏置纳入模型验收清单。
• 在带辅助验证的推理流程中记录覆盖率变化，避免为降低无依据断言而牺牲可回答范围。
• 基于 E2A-Bench 的开源代码与数据，搭建内部回归测试集，跟踪模型迭代中的证据到行动可靠性。

• E2A-Bench 的 969 条查询与 HS300 成分股样本是否能代表其他市场或资产类别？
• NDR 等指标与实际交易表现之间的相关性尚未在证据中给出。
• BUY:SELL 比例被放大 4.21 至 4.68 倍的具体原因（数据、目标函数或提示设计）未说明。
• 辅助验证导致覆盖范围收缩的程度与可恢复方式未被量化。