MamaBench：通过反事实临床扰动评估LLM在母婴健康诊断中的鲁棒性

MamaBench是首个针对母婴健康诊断的LLM反事实鲁棒性基准，包含434个专家撰写的临床叙事，共217对，覆盖371种病理，使用Bias Trap Rate（BTR）评估模型在基础案例成功时反事实案例失败的概率。在对4个前沿LLM的8种配置测试中，基础准确率比鲁棒准确率虚高16-28个百分点。提出的Evidence-Anchored RAG（EA-RAG）方法在Claude Sonnet 4.6上将BTR降低5.5个百分点至20.3%，鲁棒准确率达到65.0%，但残余20%的BTR表明反事实鲁棒性仍是开放挑战。

此前医学基准仅孤立评估每个问题，无法衡量模型能否区分临床表现相似但需不同干预的病例。MamaBench首次通过反事实配对测试这种区分能力，揭示现有基准高估了模型的实际诊断鲁棒性，差距达16-28个百分点。这迫使临床AI产品必须将反事实稳健性作为核心评估维度。

反事实基准通过构造基础临床叙事和仅改变关键参数（如症状、病史）的反事实版本，要求模型在两者上均正确。BTR衡量模型在基础案例成功时反事实失败的条件概率。EA-RAG通过临床参数提取、覆盖审计和对比子查询，以证据覆盖目标替代传统聚合相似度，从而提升检索文档对反事实案例的支持性。

母婴健康诊断产品若依赖LLM，需防范反事实扰动导致的误诊。EA-RAG可集成至RAG系统以降低BTR，但仍有20%失败率，意味着现有模型无法可靠处理所有临床变异。研发团队需投入额外精力进行对抗性测试和证据覆盖优化，否则产品可能通过传统基准但实际场景表现不佳。

• 集成EA-RAG的临床参数提取与覆盖审计模块到母婴健康AI诊断流程中
• 使用MamaBench作为内部评测标准，对诊断模型进行反事实压力测试并设定BTR合格线
• 针对残余20% BTR开发增强训练数据（如更多反事实变体）或采用对抗训练
• 将反事实鲁棒性指标纳入临床AI产品的质量合规要求，降低误诊风险

• EA-RAG在其他三个LLM（除Claude Sonnet 4.6外）上的BTR降低幅度是否一致？
• 5.5个百分点BTR降低是否在统计上显著？是否经过交叉验证？
• 残余20% BTR的具体成因是什么？是参数提取不完整还是模型推理局限？
• MamaBench的434个叙事能否覆盖母婴健康中所有常见且易混淆的临床场景？