DataVista：面向数据视频理解的多模态大模型诊断基准

HKUSTDial 团队发布 DataVista，据称是首个数据视频理解基准，包含 961 个真实数据视频与 6,775 道评测题，按数据感知、时序推理、叙事理解三层递进能力框架组织，覆盖 10 种题型和 5 个主题域。对 19 个主流多模态大模型的系统评测显示，最佳模型 Gemini-3.1-Pro 总准确率为 70.0%，仍远低于人类专家水平，在因果推理与叙事结构上表现最差。

此前基准要么针对通用视频，要么针对静态图表，数据视频这一结合动态图表与叙事的形式缺乏系统评测。DataVista 把评测拆成数据感知、时序推理与叙事理解三层，并给出 19 个模型的横向对比，使该能力差距首次可被量化定位。

数据视频要求模型从动画图表中准确读数、跨图表与跨时间整合证据，并理解叙事组织与视觉设计如何传递信息。增加帧数和加入字幕主要提升数据感知与时序推理，对叙事理解提升有限，说明当前模型的瓶颈更多在跨证据的高层推理，而非输入信息量不足。

对做图表问答、财经或商业分析类产品的团队，该基准提示单纯堆叠帧数与字幕不足以解决叙事与因果推理问题，需在证据整合与指令理解上单独设计。失败模式分析可用于定位图表读数、证据判断与指令理解三类具体缺陷。

• 在图表问答或财报视频分析产品中，将 DataVista 的 10 种题型作为回归测试集，按三层能力分别跟踪准确率。
• 针对因果推理与叙事结构两类弱项，设计专门的后处理或提示流程，验证其能否缩小与人类专家的差距。
• 参考其失败模式结论，在产品中增加图表读数校验与证据引用展示功能。

• DataVista 的 6,775 道题是否全部来自真实场景，标注质量与人工校验流程如何。
• 人类专家在该基准上的具体准确率数值未在证据中给出。
• 论文所述失败模式的普遍性是否在其他多模态模型上得到验证。
• 增加帧数与字幕的具体配置及其成本开销未在证据中说明。