视觉语言模型能评判奥运跳水吗？从推理到分数的零样本动作质量评估

一篇 arXiv 论文评估开源 Vision-Language Models（VLMs）能否对奥运跳水视频做零样本动作质量评估，使用 AQA-7 基准数据集。结果显示，单独 VLM 的 Spearman 相关系数低于 0.32；论文提出结合 TF-IDF、降维与集成学习的回归框架，四模型配置下相关系数提升至 0.67，且文本推理特征持续优于原始数值子分数。

此前 AQA 多依赖专门模型和标注数据，零样本跨运动迁移困难。该工作把开源 VLM 的语义推理与阶段级子分数接入回归框架，在 AQA-7 上从不足 0.32 提升到 0.67，说明通用模型可作为可解释的半自动评分辅助，而非直接替代裁判。

VLM 先输出对动作的文本推理和阶段级子分数，论文用 TF-IDF 将文本推理向量化，经降维后用集成学习回归到最终竞赛分数。文本推理携带的语义信息比原始数值子分数更丰富，因此融合两类特征后整体相关性明显提高；单独 VLM 直接给分则稳定性不足。

对体育分析、训练反馈和赛事内容产品来说，可验证路径是：把 VLM 定位为生成解释性反馈的辅助层，再用轻量回归模型校准为分数，而非直接信任模型原始打分。研发上需投入特征工程与集成调参，成本低于训练专用 AQA 模型，但依赖高质量阶段切分和标注分数。

• 在跳水、体操等评分类运动中，构建 VLM 生成阶段级文字点评、回归模型输出参考分的训练辅助工具
• 复用该 GitHub 开源实现，验证自有赛事视频上文本推理特征与数值子分数的增益差异
• 面向转播或短视频平台，提供带解释的实时动作难度与完成度提示，而非直接给出最终名次

• AQA-7 之外的其他奥运项目或日常训练视频能否复现 0.67 的相关性
• 四模型配置的推理成本、延迟是否适合实时或准实时场景
• 文本推理特征的增益是否依赖特定 VLM 或提示词设计
• 该框架与人类裁判分数的一致性在争议动作上表现如何