面向电子健康记录信息检索的可持续维护基准

该 paper 提出一个可扩展框架，能从纵向 EHR 病历笔记中自动生成问答对。19 名临床医生验证了生成器，产出可连续维护的评测数据集 BRIE。作者在 9 个 LLM 和 5 种推理策略上测试，发现先进系统经常遗漏临床重要信息，尤其是需要跨多份文档和多次就诊综合的问题。

此前临床 LLM 评测基准多为人工构建，更新成本高，且随技术迭代迅速过时。BRIE 通过自动生成并经验证的内容，使评测可以持续刷新，并支持生成多个反映医生推理差异的答案，从而改变临床 LLM 评测的时效性和覆盖方式。

框架从纵向 EHR 笔记自动构造问答对，由临床医生验证生成器本身而非逐题人工编写。生成器可信后，就能批量产出题目、多版本参考答案，并定期替换内容以防数据泄漏。评测因此从一次性静态数据集转为可循环更新的流程。

对临床助手产品而言，评测可更快跟进模型和临床场景变化，降低人工出题成本。研发团队需要把跨文档、跨就诊的综合类问题纳入测试集，因为现有模型在此类问题上易遗漏关键信息。产品上线前的验证流程可能从静态基准转向持续刷新的基准。

• 为临床 LLM 团队提供基于 BRIE 的持续评测服务，按季度刷新题库并检测数据泄漏。
• 开发面向 EHR 助手的跨文档综合问答测试模块，专门暴露遗漏临床信息的问题。
• 将多版本参考答案机制产品化，用于评估模型输出与不同医生推理路径的一致性。
• 面向医院 IT 或 EHR 厂商提供本地病历笔记自动生成评测集的合规工具。

• BRIE 数据集是否已公开、可获取，以及以何种许可发布。
• 自动生成问答对在真实临床部署中的错误率和偏倚程度如何。
• 19 名临床医生验证的具体流程、一致性指标和覆盖范围未在证据中说明。
• 跨文档综合类问题上的信息遗漏是否可通过训练或检索策略改善，证据未涉及。