超越视觉思维链：内部化视觉思维实现主动视频推理

多模态大语言模型常用视觉思维链（Visual CoT）通过生成中间推理图像进行视频推理，但推理开销大。研究者提出内部化视觉思维（IVT）训练后框架，在未标注视频上联合优化文本预测与下一嵌入预测，推理时直接生成答案，无需合成未来帧。IVT在六项评估中优于直接答案微调，与显式Visual CoT性能相当或更好，端到端延迟平均降低5倍以上。

以往视频推理依赖显式生成中间图像（Visual CoT）进行视觉预判，推理成本高。IVT证明模型可在训练时学习内部化视觉预测，推理时不需生成未来帧，显著降低延迟并保持性能，可能改变多模态模型在视频推理任务的设计范式。

IVT在训练阶段让模型同时预测未来帧的潜在表示与目标文本答案，促使模型在内部捕捉运动、物体转换、交互与潜在意图。推理时直接基于内部化表示生成答案，避免了显式像素级生成与重新编码的额外计算，从而降低延迟并提升效率。

若IVT被采用，视频理解类产品的推理成本与响应时间可大幅降低，提升实时性；同时减少对显式中间图像生成的依赖，简化推理流程，降低算力需求，有利于边缘部署。对现有依赖Visual CoT的视频分析产品，需评估迁移成本。

• 在实时视频理解产品中集成IVT框架，以显著降低推理延迟，提升用户体验。
• 开发基于IVT的视频问答或事件预测功能，利用内部化视觉预测能力实现主动响应。
• 针对IVT训练流程进行优化，形成可复用的训练工具包，供内部研发或对外提供。
• 探索IVT在视频监控或自动驾驶等低延迟场景的应用，以改善实时决策性能。

• IVT在更大规模数据集或更复杂视频任务上的泛化能力尚未被证据证实。
• 与显式Visual CoT相比，IVT在特定任务（如长时推理）上的性能差异未完全明确。
• IVT的训练数据来源及对未标注视频的依赖程度未在证据中详细说明。