CoM$^3$eT：基于联邦多维上下文整合的医学图像分析基础模型

CoM$^3$eT 是一种医学视觉基础模型，通过注意力机制建模多维上下文，统一了病理与放射、稀疏与密集预测以及二维与高维输入。在开放竞赛中，它在五个断层扫描、四个全标本和三个二维数据集上表现优于其他医学基础模型。在临床应用中，训练少于2.5%的参数即可达到与全量微调相当的性能。在联邦学习场景下，通过互联网和消费级硬件达到了与集中训练相当的效果。

现有医学基础模型通常局限于单一专科（如病理或放射）和单一输出类型（如分类或分割）。CoM$^3$eT 首次同时统一了病理与放射、稀疏与密集预测，并支持二维及高维输入，扩展了基础模型在医学影像中的适用范围，降低了多模态应用的复杂度。

通过设计多维上下文建模（使用注意力机制），模型能够同时处理不同维度的输入和不同类型的任务。少参数微调（少于2.5%）达到全量性能，表明模型具有强大的迁移能力。联邦学习下性能与集中训练相当，说明该方法能有效利用分散数据而不牺牲精度。

该模型可降低医学影像AI开发成本：无需高性能GPU集群，普通硬件即可微调。同时支持多种影像类型和任务，可能简化产品线，加快跨科室、跨医院的部署。对研发流程而言，可减少数据集中和标注成本。

• 开发轻量级医学影像分析工具包，支持医生在消费级设备上进行多模态诊断。
• 构建联邦学习平台，允许多家医院在不共享原始数据的情况下共同训练模型。
• 将CoM$^3$eT集成到临床工作流，实现跨病理和放射的联合分析。
• 提供预训练模型API，支持按需微调，降低定制化研发门槛。

• 证据未提及CoM$^3$eT在真实临床环境中的实际部署效果。
• 模型在具体病种（如癌症分期）上的准确性尚未公开。
• 联邦学习在非理想网络条件下的鲁棒性未明确。
• 模型与现有医学影像系统集成所需的技术和流程细节缺失。