面向多模态大语言模型自我改进的失败信息图像自增强

多模态大语言模型（MLLMs）进步依赖昂贵的大规模高质量数据。现有自增强方法以文本为主，图像增强未充分利用。研究者提出FISA框架，利用模型自身失败案例构建增强图像，通过自检验和双重保真过滤，在视觉问答基准上持续提升分布内和分布外性能，并与文本自增强兼容。

现有MLLM自增强方法侧重文本，图像增强多为通用或手工变换，与模型实际能力弱点关联弱。FISA首次系统性地从模型失败案例构建图像增广，在分布内和分布外均显示性能提升，为降低多模态数据标注成本提供新路径。

FISA基于模型自身失败案例生成视觉上更具挑战性但保留答案的图像变体，通过自检验机制评估生成样本的效用，并采用双重保真过滤避免语义失真。这使增广数据与模型不足精准对齐，比起随机或通用变换，更能针对性提升模型薄弱环节。

对涉及视觉问答和图像理解的产品，FISA有望减少对人工标注数据的依赖，降低数据成本，并提升模型在分布外场景的表现。其与现有文本自增强兼容，便于集成到现有训练流程，加快模型迭代。

• 在视觉问答模型训练流程中集成FISA，自动生成针对性图像增广，减少人工标注成本。
• 将FISA与现有文本自增强方法结合，构建多模态自增强流水线，提升模型综合能力。
• 利用FISA过滤机制优化数据质量，减小训练数据规模，提升数据效率。

• FISA在除视觉问答外的其他多模态任务（如图文检索、视觉推理）上的效果需要进一步验证。
• 论文未提及FISA在不同模型规模和架构上的泛化能力。
• 双重保真过滤的具体实现细节尚未在证据中体现。