基于源文的框架：从临床病例报告构建和评估渐进式多模态诊断对话

arXiv 论文提出一个基于源文（source-grounded）的框架，用于从临床病例报告中构建渐进式多模态诊断对话，并设计评估策略，考察多模态大模型（MLLM）在最终诊断、诊断推理和影像解读方面的表现。在24个内科病例上的评估显示，框架生成的参考对话诊断F1为0.99、推理质量评分4.79/5；两个前沿MLLM（o4-mini和Claude Haiku 4.5）的推理质量评分分别为2.75和2.50，且诊断、推理和影像F1均明显较低，表明流畅回应不一定反映证据基础的临床推理。

此前多模态医疗基准多采用固定输入或终点答案，无法分离证据选择与解读；本框架首次利用源文构建渐进式对话，并以诊断推理为主线评估MLLM，揭示了模型流畅性与证据基础推理之间的显著差距，为医疗AI评估提供了更接近临床实践的参照系。

框架将病例报告转换为结构化的诊断对话，每个对话步骤都关联具体证据（病史、体检、实验室、影像等），评估时分别计算最终诊断、推理质量和影像解读的F1分数，以训练和评估MLLM在开放式诊疗场景中的表现。

对医疗AI产品而言，该框架可作为评测基准，帮助研发团队定位模型在证据选择或推理环节的短板，也可用于数据增强（生成高质量对话样例），但论文未涉及具体部署或成本数据，故对商业影响有限。

• 基于该框架构建医疗多模态模型的中文评测套件，覆盖常见内科病种，用于内部模型迭代验收。
• 将框架中对话构建方法试用于生成医学教育模拟病例，辅助病例库建设。
• 利用框架输出与人工评分联合，建立医疗AI诊断推理的质量看板，跟踪模型版本改进。

• 框架是否适用于外科、儿科等其他专科或复杂罕见病例，证据未说明。
• 参考对话构建的自动化程度和所需人工成本未量化。
• 该诊断F1和推理质量指标是否有外部验证或跨库一致性评估。