问题引导的证据获取用于多模态视觉问答

Q-Guide 是一个小型智能体，它根据问题判断缺失的证据，并调用针对性工具（如读取文本、放大细节、定位区域）来补充信息，再进行回答。在 DocVQA2026 和 Manga109 基准上，Q-Guide 分别取得 65.0% 和 32.4% 的准确率，优于直接提示（40.0% 和 24.4%）和近期多智能体系统。改进在三个 Claude 骨干模型上均成立，且大部分收益来自两到三轮的定向感知，而非复杂的控制逻辑。

传统文档 VQA 系统采用固定编码、一次性感知的快速推理，模型常无法可靠读取小字、表格和视觉元素。Q-Guide 提出在推理时进行更慢、更刻意地感知，通过动态决定下一步查看位置来提升准确率，实现了显著性能提升，并证明这种主动感知策略相比增加规划器或路由等复杂控制逻辑更有效。

Q-Guide 将感知视为可迭代过程：先基于问题分析当前上下文缺少什么证据，然后调用特定工具（如 OCR 读取文本、放大细节或区域定位）来获取缺失信息，再更新上下文并继续，直到足够回答。这种机制将额外推理计算定向用于关键证据，因此能在不增加模型复杂度的情况下提升性能，且收益随感知轮次（2-3轮）迅速饱和。

该技术可能改变文档型 AI 产品的设计，尤其涉及复杂页面（如报告、合同）问答场景。产品需权衡推理时间与准确率，因为采用多次工具调用会增加响应延迟。但准确率提升可增强用户对文档理解功能的信任，可能支持更多应用场景，如票据、表格等细粒度信息提取。

• 将 Q-Guide 思路集成到文档问答工具中，优先处理难以识别的小字号文本和表格，以提升用户准确率体验。
• 开发基于推理预算的付费分层，为用户提供不同精度的文档理解服务（如快速版与深度版）。
• 针对 Manga109 等古旧或低质量文档，利用 Q-Guide 的缩放与区域定位能力，实现更准确的跨页信息抽取。
• 将 Q-Guide 作为模块嵌入现有 RAG 流程，用于文档检索前进行证据增强，改善下游问答质量。

• Q-Guide 在非文档类多模态任务（如自然场景理解）上的表现是否同样有效？
• 目前收益在 2-3 内达到饱和，过大的推理预算是否会带来收益递减或成本失控？
• Q-Guide 对不同语言（如中文）文档的感知能力如何？证据中未提及非英文语种。