Q-CueGraph：面向多模态推理的查询条件视觉证据图

Q-CueGraph 是一种为多模态大语言模型设计的查询条件视觉证据图方法。它根据问题与图像表示生成有预算的坐标级观察，供冻结的阅读器使用。在 V*Bench 上达到 0.833 准确率，超过全图推理的 0.696；在 InfographicVQA 上以约一半图像面积达到全图 ANLS 的 92%。该方法无需区域框监督，可学习优化裁剪。

此前多模态模型虽有高分辨率像素和裁剪缩放工具，但缺乏任务条件化的观察决策策略。Q-CueGraph 将观察决策显式化，在有限图像面积下显著提升推理准确率，例如 V*Bench 从 0.696 提升至 0.833，且无需区域框监督，提高了对局部证据的利用效率。

Q-CueGraph 将问题与图像表示映射为有预算的坐标级观察，为冻结的阅读器提供明确的裁剪位置决策。文本丰富的图像使用可复用的 OCR/布局图，自然图像搜索则实例化查询条件化的视觉节点，并采用相同的选择、组合和预算机制。可选效用优化根据训练答案正确性学习裁剪，无需区域框监督。

对依赖多模态视觉问答的产品，Q-CueGraph 可在减少图像处理面积的同时提升准确率，可能降低推理成本并改善对局部证据的响应质量。冻结阅读器设计便于集成到现有流程，无需微调大模型。

• 集成 Q-CueGraph 到文档理解产品，利用 OCR/布局图提升信息图问答的准确率并减少计算资源。
• 在视觉搜索产品中，使用查询条件化的裁剪策略，提高对局部目标的识别效果。
• 利用效用优化机制，无需区域框监督即可改进模型对裁剪区域的利用，降低标注成本。

• Q-CueGraph 在不同分辨率图像上的性能表现尚未明确。
• 该方法对不同类型的多模态大语言模型的泛化能力有待验证。
• 实际部署时的计算开销与传统裁剪方法相比是否具有优势，证据不足。