临床人员使用语言模型的方式与模型评测方式出现偏离

一项 arXiv 研究分析了 35 个专科的 6,342 名临床人员八个月内向机构助手发出的 127,833 条查询，并用临床验证框架 RCQ-Map 标注任务、意图与可答性。结果显示文档与行政事务占 36.2%、知识检索占 28.9%，诊断仅 3.7%，逾三分之一查询按原样难以回答；对照 58 个公开基准，基准中位任务构成仅 31% 与真实使用重叠，且无文档类请求。

此前医疗机构与厂商多以考试题和精选病例基准判断 LLM 助手是否可用。该研究首次用大规模真实查询证明基准与部署场景存在系统性错位，意味着高分不再能直接支撑上线决策与采购判断。

基准题目多来自考试与整理病例，天然偏向知识与诊断任务；而临床人员日常大量时间用于文档、行政与信息检索，且许多请求本身信息不完整。评测分布与使用分布不重合，分数便无法代表多数实际请求上的表现。

医疗 AI 产品团队需改用真实查询分布构建评测集与回归测试，覆盖文档生成、检索与信息缺失场景；否则上线后可能在高频任务上暴露未测风险，影响用户信任与合规审查进度。

• 按真实查询分布建立院内评测集，把文档与行政任务列为独立评测项
• 提供可自动识别信息缺失并追问澄清的交互机制
• 针对高频行政与检索场景做窄而深的功能模块
• 将评测覆盖率纳入模型版本发布与采购验收指标

• RCQ-Map 框架在其他机构与地区的可迁移性尚未验证
• 研究只覆盖单一机构助手，不同产品形态是否同样错位未知
• 任务构成错位与实际临床或安全后果之间的因果关系未被测量
• 58 个基准与真实使用重叠的 31% 是否随时间变化尚无数据