- 类型
- 论文
- 来源
- arXiv AI
- 发布
- 2026年9月29日 12:15
- 状态
- 单一信源
发生了什么
论文提出 TAEC,一种无需训练的多步视觉 RAG 框架。它把多步推理中反复检索、更新中间状态、决定是否继续搜索的问题,归结为随推理推进而出现的“轨迹级证据利用退化”:冗余来源占用上下文、已解决或无效观察滞留、视觉来源复核细节不足。TAEC 在共享轨迹状态中追踪未解决的答案需求,以此决定哪些证据进入上下文、如何保留记忆、以何种细粒度查看视觉证据。在 ViDoSeek、SlideVQA、MMLongBench-Doc 统一评测下,TAEC 相比主流免训练视觉 RAG 基线取得最佳整体表现,并在多个专有视觉语言模型上取得最高平均准确率。
为什么重要
此前多步视觉 RAG 的改进多集中在检索环节,假设找到相关证据就能用好。该工作把问题重新定位为推理轨迹上的证据利用退化,指出冗余、过期与过低细节会挤占后续所需证据的上下文空间,并将优化对象从“检索什么”扩展到“何时、以何细节使用证据”,这一视角变化可能影响后续多步检索系统的设计重点。
底层逻辑
TAEC 不更新模型参数,而是在共享轨迹状态中维护尚未被满足的答案需求,并以此作为协调信号:需求决定哪些证据被写入上下文、累积记忆如何裁剪保留,以及视觉证据需要放大到何种细粒度再阅读。机制上把证据管理与推理进度绑定,使上下文容量随未解决需求动态分配,减少与当前目标无关或已解决的证据继续占用空间,从而缓解证据在轨迹后段可用性下降的问题。
产品与商业机会
对做文档问答、幻灯片检索或多页图文分析的产品,该思路意味着不必先训练模型,也可在检索与生成之间加入一层状态管理,控制上下文注入与视觉证据的读取粒度。研发上需要维护未解决需求的轨迹状态并对接现有 RAG 管线;成本上可能降低无效检索与重复读图带来的 token 消耗;用户体验上更可能在长文档多跳问题上给出稳定答案。
- 在现有视觉 RAG 管线中插入 TAEC 式轨迹状态层,先以未解决需求过滤进入上下文的证据,验证长文档问答准确率变化。
- 针对幻灯片与多页图文场景,按未解决需求动态调整图像区域裁剪与放大粒度,替代一次性整页读图。
- 建立轨迹级证据利用退化指标,统计冗余来源、已解决观察与重复读图在上下文中的占比,用于回归监控。
- 以免训练包装方式接入多个视觉语言模型,向企业文档检索客户提供不换模型的准确率提升方案。
仍待确认
- TAEC 在 ViDoSeek、SlideVQA、MMLongBench-Doc 上的具体准确率数值与基线差距未在证据中给出。
- 轨迹状态中未解决需求的识别方式、是否需要额外模型调用及其延迟成本未说明。
- 该方法对单步简单问答是否会产生额外开销或性能下降,证据未覆盖。
- 除上述三个数据集与专有视觉语言模型外,能否迁移到开源模型或其他领域尚未验证。