- 类型
- 论文
- 来源
- arXiv AI
- 发布
- 2026年10月8日 14:54
- 状态
- 单一信源
发生了什么
Perception Test 系列第四版作为 ECCV 2026 在瑞典 Malmö 举办的 workshop 举行,主题聚焦空间智能,共设四条赛道:两条沿用原基准的统一多选 videoQA 与 grounded videoQA,另两条基于城市尺度的步行游览视频,名为 KilometerAudio 与 KilometerVision。报告介绍了新增城市尺度基准,并汇总各赛道获胜方案,其中包括一个跨全部赛道参赛且表现令人满意的通用模型。
为什么重要
相较此前版本,本届新增了两条基于城市尺度步行游览视频的赛道,把评测从原有视频问答扩展到 KilometerAudio 与 KilometerVision 这类更长、更贴近真实场景的视听推理任务,并首次在总结中对比通用模型与专用方案的差距。
底层逻辑
证据显示,新增城市尺度赛道上的获胜方案依赖成本较高的 agentic pipeline 才解决复杂空间与多模态推理,而单独使用的多模态模型仍难以应对,说明当前模型在长时程、跨模态空间任务上存在能力缺口,需靠外部分步流程弥补。
产品与商业机会
若产品需要处理城市尺度或长时程视听理解,直接调用单模型可能不足,需评估引入分步 agent 流程带来的成本与工程复杂度;对研发而言,评测重点可能从单模型能力转向 pipeline 编排能力。
- 在长视频与城市尺度视听场景中,评估以 agentic pipeline 封装多模态模型的方案,并测算推理成本与准确率权衡
- 围绕 KilometerVision、KilometerAudio 类基准构建内部评测集,提前验证自身模型在空间推理任务上的短板
仍待确认
- winning solutions 的具体方法与技术细节尚未在证据中给出
- 通用模型跨全部赛道的具体成绩数据未披露
- KilometerAudio 与 KilometerVision 两个基准的规模与评测指标未说明
- agentic pipeline 的成本量级未被量化