无根据的准确率：诊断视频大语言模型基准测试中的视觉依赖分离

该论文审计了20个规模从2B到78B参数的视频大语言模型，引入视觉依赖缺口（VDG）衡量黑屏与原视频问答正确率之差。在MVBench上发现：准确率与视觉依赖可分离，模型在原视频上差异显著（p=0.0003）而在黑屏上不显著（p=0.53）；任务类型排序稳定，属性感知强烈依赖视觉，时序推理接近纯语言基线。通过黑屏到原视频的逐步诊断，帧多样性提供大部分视觉收益，时间顺序对16个开放权重模型贡献几乎为零。H.264实验表明聚合准确率掩盖了题目级双向翻转。API模型VDG值在0.025至0.315之间。

先前业界常将视频LLM的基准准确率等同于视觉理解能力，该研究通过严格对照实验证明，模型可能主要依赖帧统计特征和语言先验而非真实时序理解，挑战了现有基准的有效性并推动了评估方法的改进。

通过黑屏对照（消除视觉信息）和逐步消融（单帧、乱序、原视频）可量化模型对视觉依赖的真实程度。帧多样性提供主要收益意味着模型可通过多帧中的静态对象分布猜测答案；时间顺序贡献近零说明当前基准中时序推理任务可被语言模式或帧内线索解决。

视频理解产品（如视频摘要、问答系统）若依赖当前模型，可能对时间顺序不敏感，在真正需要时序推理的场景（如动作计数、事件序列）表现差强人意。研发团队需重新评估模型对帧多样性和时序的依赖权重，避免在非关键时序任务上过度投入。

• 将VDG作为标准审计工具集成到视频LLM测评流程，确保产品上线前明确视觉依赖程度。
• 开发侧重帧多样性而非时序的视频理解模型，可优先优化多帧采样策略而非复杂时序架构。
• 针对时序密集型任务（如体育动作分析）设计专用基准，避免被帧统计特征误导。

• VDG在不同视频领域（如影视、监控、自动驾驶）是否一致？
• 模型参数规模如何影响VDG值与语言先验的贡献比例？
• API模型VDG较低是否一定意味着更依赖视觉？还是因为训练数据覆盖了更多模式？
• 时间顺序贡献近零的现象是否因当前基准测试难度不足？更难时序任务会否暴露真正的时序依赖？