基于 28 万份常规报告的结肠镜视觉语言基础模型

EndoCLIP 是一个基于结肠镜影像与报告文本训练的视觉-语言基础模型，从 28 万份常规报告中逐步恢复出 12.5 万个病灶级图像-文本对。该模型在病灶级图像-文本检索、结构化报告生成及六项多中心临床分类任务上均优于通用和生物医学视觉-语言编码器，在良恶性分类的线性探测中接近 12 名内镜医师的水平。

此前视觉-语言模型在结肠镜中的应用较少，因为常规报告总结整个检查过程而非逐帧描述，导致临床发现与图像关联弱。EndoCLIP 通过恢复报告与对应病灶图像的对应关系，将常规文档转化为大规模监督信号，使临床目标可以通过语言描述而非逐任务标注来实现，降低了医疗 AI 开发的标注成本。

常规结肠镜报告包含内镜专家对病灶外观、大小和位置的丰富描述，但这些描述是整体性的。EndoCLIP 通过算法逐步从报告中恢复每个病灶与对应图像的精确对应关系，构建大量图像-文本对。这种弱监督方式利用已有报告文本作为自然语言监督，训练视觉-语言模型，使其能够同时理解图像和医学语言，从而实现跨模态检索和分类。

对于内镜 AI 产品，EndoCLIP 可提供预训练模型，减少针对特定任务开发新模型的需求，加速产品迭代。其报告生成和检索功能可能改进内镜报告的自动化流程，提升文档效率。但产品化需考虑模型在不同设备、医院和人群中的泛化性，以及如何在临床工作流中部署。

• 开发基于 EndoCLIP 的内镜报告自动生成工具，提升文档效率。
• 将 EndoCLIP 作为预训练模型，用于不同类型病灶分类任务，减少二次标注成本。
• 构建内镜图像检索系统，帮助医生快速找到历史相似病例。
• 在现有内镜 AI 产品中集成 EndoCLIP，提升良恶性分类的辅助诊断能力。

• EndoCLIP 在真实临床环境中的部署效果是否与实验一致未知。
• 训练数据来源的医院分布和多样性是否影响模型的泛化性？
• 报告生成功能是否通过临床验证，其可读性和准确性有待确认。
• 良恶性分类接近专家水平的稳健性和误差率是否经过外部验证？