仅训练投影器即可适配新模态

一项研究通过3D多模态大语言模型（MLLM）实验发现，仅训练投影器（projector）而不微调语言模型主干，即可获得与联合训练相当的多模态性能，且避免语言模型能力漂移，训练吞吐量约提升一倍。

传统多模态训练需同时调整语言模型主干和投影器，成本高且可能导致原有能力退化。新发现表明仅训练投影器即可达到相近性能，可能改变多模态模型的训练范式，降低计算需求。

投影器作为连接模态编码器与语言模型的桥梁，可能已足够编码模态相关信息，而语言模型主干具备的通用推理和语言能力可直接复用。联合训练引入的梯度更新可能干扰主干已有能力，导致漂移。仅训练投影器则避免了这一干扰，同时减少了参数量更新，从而提升训练吞吐量。

该发现可显著降低多模态模型训练的计算成本和时长，使小团队更易开发多模态能力。产品团队可更快迭代新模态支持，减少因微调主干导致的原有任务性能下降风险，提升模型稳定性。

• 开发仅需训练投影器的多模态模型，接入3D、音频等新模态，降低训练成本
• 在现有语言模型上添加新模态能力，避免影响原有功能，用于快速原型验证
• 优化训练流程，采用投影器微调策略，提升训练吞吐量，加快模型迭代周期

• 该结论是否适用于2D视觉、音频等其他模态？
• 仅训练投影器在更大规模数据或更强基线下的性能差距如何？
• 投影器架构是否有特定要求才能实现该效果？