为太多 token 付费？用简单启发式实现有效且低成本的多模态 LLM 标注

该 arXiv 论文系统评估了短视频多模态标注中的多种省钱启发式方法（抽帧、图像网格压缩、单模态），在情感与主题分类两项计算社会科学任务上，同时测量分类准确率、下游推断有效性与单视频 token 成本。结果显示准确率最高并不等于推断结论正确；纯文本已能取得较好表现，增加模态可能只增成本；通过简单镜头转场检测构建单个 $2\times8$ 图像网格，可在 token 成本约为全视频 15% 的情况下达到接近全视频理解的效果（κ 差异在 .05 以内）。

此前研究多只关注单一维度，或默认省钱方法不损害结论。该工作把准确率、下游推断有效性与成本放在同一框架下比较，指出高准确率配置可能导出错误结论，并给出可复用的成本感知标注准则。

视频按每秒一帧处理会累积大量 token，成本随长度上升。抽帧与图像网格通过减少送入模型的视觉 token 来降本，但会改变信息保真度；论文用镜头转场检测挑选关键帧组成 $2\times8$ 网格，在保留叙事结构的同时压缩输入，从而把成本与视频长度解耦。

对做视频理解、内容审核或用户研究的团队，可直接据此调整标注流程：先验证纯文本基线，再决定是否加视觉模态；用镜头转场检测替代逐帧全量输入，可显著降低推理成本。

• 在视频标注管线中加入“先跑纯文本基线，再决定是否加视觉模态”的对照步骤，避免无效模态开销。
• 用镜头转场检测构建 $2\times8$ 图像网格作为默认低成本配置，替代逐帧全量输入。
• 在标注质量监控中同时记录准确率与下游推断有效性，避免只优化准确率而得到错误结论。
• 针对短视频情感与主题分类场景，先做小规模成本-有效性网格实验，再确定生产配置。

• 该方法在长视频、非短视频或其他语言内容上是否同样成立？
• $2\times8$ 图像网格配置对不同 VLM 模型是否通用？
• 论文中的下游推断有效性是否只在此前评估的两项 CSS 任务上得到验证？