从推理到像素：面向医学视觉问答与分割的接地多模态大模型

arXiv 一篇论文提出 MedREAL 框架，用于医学多模态大模型的视觉问答和分割。该框架通过 Seg Anchored Reasoning Pooling 从 [SEG] 标记提炼语义证据，并用 Reasoning-to-Visual 融合机制将推理特征注入分割流程。MedREAL 在基准上达到 68.49% gIoU 和 70.47% cIoU，优于现有方法。

此前医学多模态大模型依赖全局图像特征，缺乏像素级定位，临床可信度受限。MedREAL 将语言推理与空间定位对齐，生成的证据掩膜与文本诊断严格一致，提升了可解释性，可能推动医疗影像分析工具的发展。

MedREAL 利用 MLLM 的 [SEG] 标记中的隐藏状态，通过 SARP 蒸馏出任务相关的语义证据，再经 R2V 融合机制将这些特征注入分割网络，使文本推理结果能直接指导像素级掩膜生成，从而缩小高层推理与空间定位之间的语义鸿沟。

对于医疗影像分析产品，MedREAL 可能提供更可靠的辅助诊断能力，减少模型输出与医生诊断不一致的情况。但证据中未提及成本、效率或部署细节，具体影响有待验证。

• 在医疗影像分析产品中集成 MedREAL，利用其推理驱动分割能力，为医生提供与诊断一致的病灶区域标注，提升可信度。
• 基于 MedRAVS-13K 数据集微调现有医学视觉语言模型，增强其在多种影像模态下的定位与问答性能。
• 开发面向临床的可解释诊断工具，展示模型推理依据与对应像素掩膜，辅助医生复核。

• MedREAL 在真实临床环境中的泛化能力和鲁棒性如何？
• MedRAVS-13K 数据集的构成多样性是否足以覆盖罕见病或复杂病例？
• MedREAL 的计算开销和推理延迟是否满足临床实时性要求？
• 该框架是否支持动态交互式分割，如医生修改文本提示后即时更新掩膜？