解耦视觉处理：通过模态特定Transformer替换实现高效多模态适配

研究人员提出解耦视觉处理框架（DVP），在多模态大模型LLaVA-1.5中，将上层解码器替换为一个轻量级可训练Transformer块，专门处理视觉token，而文本token继续经过原始冻结层。训练仅更新该单块参数，大幅减少可训练参数量，在MME、POPE、ChartQA等基准上取得竞争性能。

此前微调多模态大模型需更新全部参数，计算成本高。DVP仅训练极少量参数即可达到接近全量微调的性能，显著降低视觉指令微调的算力需求，使更多团队能低成本适配视觉任务。

深层网络中视觉与文本token的表示需求差异大。DVP利用预训练LLM前半层共享处理，后半层分离：视觉token进入新增轻量Transformer块，文本token继续冻结层，最后合并。视觉表示可通过参数高效路径有效学习。

开发多模态产品时可大幅降低视觉指令微调的算力成本。采用DVP后训练参数量减少，训练时间缩短，对硬件要求降低，同时保持模型性能，有助于快速迭代多模态对话、图像理解等产品。

• 基于DVP框架开发低成本的视觉指令微调服务，供中小团队定制多模态模型。
• 将DVP集成到现有MLLM训练流水线中作为默认微调策略，降低算力消耗。
• 探索DVP在其他多模态任务（如视频理解、文档分析）中的适用性，扩展产品场景。

• DVP在更大规模模型或更多模态（如音频）上是否同样有效？
• 与现有参数高效微调方法（如LoRA）相比，DVP的优势和劣势具体如何？
• DVP在更复杂的视觉推理任务（如视觉常识推理）上性能是否仍接近全量微调？