FinInteract：评测模糊财务问答中的澄清与意图整合

该论文发布 FinInteract，一个英中双语基准，含 173 个实例，覆盖五类歧义。每个问题配默认与真实意图两种解读，评分考察智能体是否主动澄清并正确整合。用默认解读而非真实意图重评同一输出，GPT-4o 准确率被夸大 3.1 倍。模型在给定解读时准确率超 90%，需自行追问时最高仅 28.9%。

此前财务问答基准每题只有一个标准答案，无法区分智能体是真的澄清了歧义还是猜中了常见解读，论文将这一盲点称为单一标准答案幻觉。FinInteract 把默认解读与真实意图并列，使澄清能力第一次可被量化比较。

财务问题常表面完整、实则欠定义，同一科目可对应不同口径，且每种口径都能在监管文件中得到验证。传统基准只认一个答案，便无法惩罚按常见口径作答的智能体。该基准通过为每题标注默认与目标两种解读，把追问与整合拆成两个可评分环节，并按歧义类别分层统计。

若面向财务问答的产品沿用单一标准答案评测，上线前的准确率会被高估数倍。研发需在评估集中加入歧义样本，并把主动提问作为可评测指标；交互设计上要允许智能体先澄清口径再给数，否则用户会拿到可验证却非本意的数字。

• 在财务问答产品的评测体系中引入默认与目标双解读标注，替代单标准答案打分。
• 设计澄清式交互流程：当问题存在多种口径时先反问，再输出带口径说明的答案。
• 针对实体范围与指标定义这两类已充分验证的歧义，优先做定向澄清策略。
• 在训练或推理阶段显式输入歧义类别标签，以提升口径解析准确率。

• 173 个实例的规模是否足以代表真实财务问答的歧义分布。
• 评测仅覆盖英文与中文，其他语言场景是否可迁移尚未验证。
• 给定解读时超 90% 与自行追问时 28.9% 的差距，是否能被单靠提示或微调稳定缩小。
• 该基准与真实生产环境的财务问答流量匹配度如何，证据未说明。