通用-专家混合专家架构用于多模态影像罕见病理检测

一篇 arXiv 论文提出 Generalist-Specialist-MoE（GS-MoE）双分支架构，将跨模态通用模型与各模态专属专家通过域约束特征融合结合。在 RadImageNet 的 135 万张图像、165 种病理、三种模态上，该架构恢复了六个低患病率病理的检测，这些病理在所有基线中 F1 均为 0，单类提升最高达 +0.60 F1，同时在 MCC 0.770 上略超稠密模型与仅专家 MoE 基线，推理时活跃参数减少约 53%。

此前纯 MoE 的专家路由被认为会牺牲跨模态信号，而跨模态信息恰恰对低患病率病理更关键。该工作把通用与专家两条路径显式耦合，使原本被所有基线漏检的六类罕见病理重新可检出，说明罕见病检测的瓶颈可能来自架构而非数据量。

GS-MoE 用两条分支分别承担任务：跨模态通用分支保留模态间共享表征，模态专属专家分支保留域内专精能力，再通过域约束的特征融合让路由不切断跨模态信号。这样既避免纯 MoE 因路由偏向域内而丢失罕见病所需的跨模态线索，也通过只激活部分参数降低推理开销。

对医学影像 AI 产品而言，可将罕见病理的召回从零提升到可检出，同时以更少活跃参数运行，降低推理算力与部署成本；研发上提示多模态模型不必在专精与泛化之间二选一，可把通用-专家耦合作为多模态医学模型的默认结构选项。

• 在自有医学影像数据集上复现 GS-MoE，重点验证低患病率病种的召回率是否从接近零提升。
• 将通用-专家双分支结构产品化为可配置模块，按模态数量与罕见病比例切换专家路由策略。
• 针对推理活跃参数减少约 53% 的特点，评估在边缘设备或低成本推理集群部署的可行性。
• 建立以罕见病理 F1 和 MCC 为核心的评测集，替代仅看总体准确率的验收标准。

• GS-MoE 在 RadImageNet 之外的真实临床数据与非影像模态上是否保持同等提升？
• 六个低患病率病理的类别名称与样本数量未披露，无法判断提升的统计稳健性。
• 证据仅来自单一论文与单一数据集，尚无独立复现或第三方对比结果。
• 域约束特征融合的具体实现细节与训练成本未在摘要中说明。