- 类型
- 论文
- 来源
- arXiv AI
- 发布
- 2026年10月8日 03:26
- 状态
- 单一信源
发生了什么
arXiv 论文提出 VAMR(Video Agent for Multi-Question Reasoning),针对长视频理解中多个问题各自独立探索、重复构建记忆的问题,改为用一条共享工具调用轨迹协调所有问题:每轮策略模型可为多个未解决问题调用工具,并对证据充分的问题提交答案;同时用问题条件视觉感知与分层多问题记忆复用上下文并保留单问题证据。经监督微调初始化后,采用 question-horizon policy optimization(QHPO)优化共享轨迹。在 LVBench、Video-Holmes、LongVideoBench 上取得最高总体准确率与最少推理轮数。
为什么重要
此前视频智能体通常把同一视频的每个问题拆成独立工具调用轨迹,反复重启视频探索与记忆构建,问题之间无法共享已获得的证据。VAMR 把多个问题放进同一条轨迹并允许分批作答,改变了长视频理解的执行结构,使证据获取从串行重复转向可复用的联合过程。
底层逻辑
VAMR 的核心是共享轨迹与分层记忆:问题条件视觉感知在一次调用中为多个问题取回细粒度线索,分层多问题记忆把可复用上下文合并为共享视频故事,同时为各问题保留独立证据。由于不同问题在不同轮次完成,QHPO 用问题级 critic 估计每个活跃问题的价值,再通过轮次对齐把问题优势映射到真正服务它的轮次,聚合后优化共享 actor。
产品与商业机会
对研发长视频问答、视频检索或会议与监控分析类产品的团队,这套做法提供了一种降低重复视频解码与工具调用开销的架构方向,并可用推理轮数与准确率同时衡量。产品侧可把“一次上传、多问题并发追问”作为交互基础,减少用户逐条等待,但需验证其训练与推理成本是否可接受。
- 在现有长视频问答产品中设计多问题并发提交入口,并对比轮数与准确率指标
- 把分层多问题记忆拆成可复用组件,接入视频检索或会议纪要类产品做小规模验证
- 以 LVBench、Video-Holmes、LongVideoBench 为基线,复现并测试自有多问题场景的成本收益
仍待确认
- 论文给出的摘要未提供具体准确率、推理轮数与基线对比的数值
- 监督微调与 QHPO 的数据规模、训练算力成本尚不明确
- 在 LVBench、Video-Holmes、LongVideoBench 之外的真实产品场景是否同样有效
- 是否已开源代码或模型权重,能否直接复现