超越视频：统一视频推理与深度研究，构建开放世界视频智能体

arXiv 发布论文提出 VideoRover，一个统一的视频深度研究框架，通过迭代协调视频裁剪、多模态搜索和网页浏览，将视频推理与深度研究能力结合。实验表明，VideoRover-8B-RL 在无需工具的直接回答设置下性能接近专有模型，在使用相同工具套件时优于更大的开源模型。作者还构建了包含 26K 条 SFT 轨迹和 3K 个 RL 实例的数据集，并推出 VideoRover-Bench 基准。

此前视频理解和深度研究能力通常分开开发，视频模型难以获取外部知识，而检索模型缺乏时序感知。VideoRover 首次将二者统一到一个可迭代协调的框架中，使模型能主动定位稀疏视觉证据并获取外部知识，这可能为开放世界视频问答和智能体应用带来新的能力范式。

VideoRover 通过循环决策机制，将视频裁剪、多模态搜索和网页浏览作为工具，每一步根据工具结果选择下一步动作，实现视频证据与外部信息的相互验证。训练采用自动数据管道生成监督微调轨迹和强化学习实例，结合长视野强化学习，使模型学会主动协调多种工具，提升处理复杂视频研究任务的能力。

对于视频分析类产品，如视频搜索、内容审核、智能助手，VideoRover 的技术可能提升其在开放世界问题上的回答准确性。开发者可借鉴其迭代工具协调思想，构建更强大的多模态 Agent。但当前模型为 8B 规模，实际部署成本较低，但训练数据管道复杂，可能增加研发投入。

• 开发面向视频内容的深度研究助手，用户提问后自动搜索相关网页并交叉验证视频中的证据。
• 将 VideoRover 的训练策略应用于特定垂直领域（如监控视频分析），生成定制化数据集并微调模型。
• 基于 VideoRover-Bench 基准建立内部评测体系，评估视频 Agent 在长视频和复杂研究任务上的表现。
• 探索将工具协调框架整合到现有视频问答 API 中，实现无需视频外知识的基础问答与需外部知识的深度研究的统一。

• VideoRover 在真实世界应用中面对噪声视频和开放领域知识时的鲁棒性尚未有证据。
• 该方法对计算资源（如推理时的工具调用次数、成本）的具体需求未在证据中提及。
• 论文是否经过同行评审或仅在预印本平台发布，尚未确认。
• VideoRover 的性能具体与哪些专有模型对比，以及对比的详细指标未提供。