基于检索的开放式评测在哪里失败？从长文本医疗答案事实性验证自动归纳分类体系

一篇论文针对医疗长文本答案的事实性验证，指出现有的基于检索的评测只报告 F1 等聚合指标，掩盖了失败发生的位置。作者基于 MedExpert 等开放式与封闭式数据集构建两套分类法，把失败拆为检索阶段五个质量维度与验证推理六个步骤，并用 LLM-as-Judge 自动归纳标签，在 4 种检索方法和 6 个前沿验证模型上做压力测试。结果显示，扩大模型规模、增加推理投入、接入权威网页来源以及医学微调均未能消除这些失败模式。

此前医疗幻觉检测普遍以 F1 等聚合分数衡量，难以定位检索或验证环节的具体错误。该工作把评测从单一分数转为可归因的失败分类，并跨多种检索方法与验证模型复现同一结论，说明这些失败不是旧系统的产物，而是当前先检索再验证范式的结构性限制。

机制上，开放式医疗问题缺少标准答案与标注证据，传统 RAG 诊断方法不适用。作者转而用 LLM-as-Judge 对证据质量和验证推理步骤自动打标，从而在无金标准条件下规模化归纳失败模式，再通过替换检索方法与验证模型验证结论的稳健性。

对医疗 AI 产品与研发而言，仅看 F1 无法指导迭代，需要按检索质量维度与验证步骤埋点归因。团队应把评测预算从单纯堆模型规模、加推理步数转向检索覆盖与验证链路的错误分类，否则投入换不来事实性提升，并需向使用者披露验证结果的不确定性。

• 在医疗问答产品内建立失败归因看板，按检索五维质量与验证六步分类记录线上错误。
• 面向医疗 RAG 团队提供无金标准证据质量与推理错误自动标注的评测工具或服务。
• 在模型选型流程中加入跨检索方法与验证模型的压力测试，替代单点 F1 对比。
• 为客户输出可解释的验证报告，标注哪些结论受检索或推理限制而不可靠。

• 论文中的分类法与自动标注流水线在真实临床文本上的迁移效果如何，证据未给出。
• 在闭源或更大规模前沿模型上，这些失败模式是否仍完全一致，尚未确认。
• 该评测结论对非医疗领域的开放式事实性验证是否适用，证据未涉及。
• 降低这些失败模式的具体改进方案，论文未在证据中提出。