用于视频语言模型高效推理的自适应两阶段视觉标记剪枝

一项针对视频语言模型的研究提出两阶段自适应视觉标记剪枝方法。第一阶段剪除冗余帧，第二阶段根据各视频内容自适应地确定标记级剪枝比例，通过分析标记嵌入的相关性结构量化冗余度。该方法无需训练或微调，是事后技术，在视频字幕基准上以10%标记保留率将准确率提升7%。

现有标记缩减方法多针对单图像设计，忽略视频中的帧间冗余，且固定剪枝比例不适用于内容差异大的视频。该研究提出内容自适应的两阶段策略，能更好地保留关键信息，提升推理效率，且无需额外训练。

该方法通过第一阶段跨帧剪枝移除冗余帧，降低计算量；第二阶段根据标记嵌入相关性结构估算每帧内冗余度，自适应确定剪枝比例，避免固定比例带来的信息丢失。由于是完全事后处理，不改变模型权重，可直接应用于现有模型，减少视频推理延迟。

对视频理解类产品（如监控、视频搜索）可降低推理成本并减少延迟。研发团队可将其嵌入现有推理流程，无需重新训练模型，加快产品迭代。但需验证在多样视频及实时场景下性能波动，以及不同硬件（如边缘设备）的适配性。

• 在视频理解API中增加“效率模式”，按用户需求动态降低token计算量，降低单位调用成本。
• 为现有视觉语言模型提供事后优化插件，兼容不同开源模型，以 SDK 形式出售。
• 面向边缘设备（如智能摄像头）提供轻量化推理方案，减少网络依赖与延迟。

• 论文仅报告视频字幕基准结果，其他任务（如视频问答）的表现未知。
• “10% token 保留”下准确率提升 +7%，但未说明计算量实际减少比例。
• 方法是基于嵌入相关性分析，其计算开销是否抵消剪枝带来的收益尚不清楚。