BITEM 在 NTCIR-19 R2C2 任务：从 Agentic RAG 流水线信号预测置信度

BITEM 团队用单一 Agentic 流水线参加 NTCIR-19 R2C2 两个子任务：模型在电影语料中检索、阅读并记录证据，由编排器保管记录并裁定可提交内容；主张须经蕴含级联校验所引段落，证据充分后才释放答案。每道题跑三到四次，每次从已被前几轮看过的语料中检索。两次检索运行在 22 支队伍中排第 4 和第 5，合并多轮带来 0.0709 nDCG@20 增益，在多跳与后处理重的题目上最明显，组织方将该合并运行排在全场第一。25 个答案运行中 16 个建立在这两次运行提供的段落上，其中 12 个来自其他团队。答案准确率 0.9219 排第 6，置信度带来的 HMR 为 0.4915 排第 13；仅用同一批记录信号手工加几条规则、不再调用模型和检索，可提升到准确率 0.9375 排第 5、HMR 0.6985 排第 9。团队指出单看 HMR 可能奖励“答错且低置信”的系统，因此提出 accHMR 指标。

这项工作把置信度从模型自评改为由编排器在流水线留下的记录信号上计算，并展示了外部规则后处理能在不增加模型调用与检索的前提下同时改善准确率和置信度质量。同时它指出仅按 HMR 排名会奖励低置信度的错误回答，提出 accHMR，这对 RAG 评测指标的选取有实质影响。

流水线把检索、阅读、证据记录与提交裁定分离：模型不直接给答案置信度，编排器依据蕴含级联的校验结果和已提交证据计算置信度。多次运行从已剔除前几轮所见内容的语料中检索，再合并多轮结果，从而在多跳问题上获得增益。由于置信度来自可记录、可复用的信号，后续可用规则调整而无需再调用模型或检索。

对 RAG 产品而言，置信度可以作为流水线可观测信号而非模型输出，便于在不增加推理成本的情况下调整阈值与展示策略。证据记录与提交裁定机制也意味着错误答案可以在提交前被拦截，多轮去重检索可提升多跳场景的召回。但需注意单看 HMR 会误导优化方向，应同时看准确率。

• 在 RAG 产品中用编排器基于引用校验信号计算置信度，替代模型自评置信度，并向用户展示可解释的置信来源。
• 对多跳或后处理重的查询启用多轮检索，每轮剔除已见内容，再把多轮结果合并以提升召回。
• 在评测与内部 A/B 中同时跟踪准确率与 HMR，并引入 accHMR 类复合指标，避免奖励低置信度错误回答。
• 把证据蕴含校验做成提交前拦截层，在答案释放前检查其是否被所引段落支持。

• accHMR 的完整定义与计算方式在提供的证据中被截断，尚未确认。
• 手工规则的具体内容与泛化能力未在证据中说明，能否迁移到其他语料或任务未知。
• 多轮合并带来增益的机制与成本开销（额外检索次数）之间的平衡未给出数据。
• 置信度是否在真实用户场景中带来体验提升，证据仅来自 NTCIR-19 R2C2 评测。