CRAG-MM-Diagnostics：支持知识密集视觉问答的阶段式分析

研究者推出CRAG-MM-Diagnostics诊断基准，将知识密集型视觉问答（KI-VQA）拆分为视觉定位、物体识别、知识检索与推理三个阶段，分别评估各环节表现。发现知识检索与推理是主要瓶颈，同时VLMs在目标物体识别及图像检索器在整合文本线索方面也存在问题。基于这些发现，提出接地双模态RAG管道，集成视觉定位模块预裁剪目标后再进行图像检索，使GPT-5和Qwen的准确率分别提升13.3和8.5个百分点。

以往KI-VQA基准仅报告最终准确率，无法定位错误来源；新方法提供阶段式细粒度分析，能够暴露视觉定位、物体识别、知识检索与推理各环节的失败原因，为模型改进提供明确方向。

通过阶段式数据注释隔离子问题，分别评估并比较不同VLMs在各环节的表现；接地双模态RAG利用视觉定位模块在检索前裁剪图像中的目标区域，减少无关信息干扰，提升检索相关性，从而改善最终答案准确率。

直接可用于诊断现有视觉问答产品（如多模态客服、图像检索助理）的薄弱环节，尤其知识检索与推理瓶颈；提出的预裁剪策略可低成本集成到RAG流程中，带来显著准确率提升（最高13.3个百分点），减少因错误检索导致的用户体验下降。

• 采用阶段式评估框架，系统诊断自家VLM产品在视觉定位、物体识别、知识检索与推理各环节的准确率与瓶颈。
• 在RAG系统中集成视觉定位模块，对图像检索前先裁剪目标区域，以提升检索相关性和答案准确率。
• 针对知识检索与推理环节开发专用优化策略，例如改进检索器对文本线索的整合能力或增强VLMs的推理机制。
• 利用诊断结果生成精细化的用户错误报告，指导产品团队优先修复高失败率环节。

• CRAG-MM-Diagnostics是否覆盖所有类型的KI-VQA场景（如多图、动态视频）？
• 提出的接地双模态RAG在其他主流VLM（如Claude、Gemini）上的效果如何？
• 该诊断方案需要额外的人工标注成本，大规模落地时是否具备成本效益？
• 预裁剪目标模块本身是否引入新的定位错误，如何平衡裁剪精度与检索增益？