AVSD-Scenes：面向城市场景的音视频描述数据集

论文发布 AVSD-Scenes 数据集，针对城市环境提供音视频联合场景描述。该数据集含 12,291 条描述，源自 TAU Urban Audio-Visual Scenes：先用 Qwen2-Audio-7B 和 Qwen2.5-VL-7B 分别生成音频与视觉描述，再用 Qwen3-14B、Mistral-Small-3.2-24B-Instruct-2506、Gemma-3-27B-it 融合成多模态描述。评测涵盖语义对齐、跨模态检索、场景分类、LLM-as-a-judge 与人工主观评估。

此前音视频联合描述的城市场景数据集较为有限，多模态语义表征缺少统一基准。该数据集把音频、视觉与自然语言描述配对，并提供跨模态检索与分类基准，使音频与视觉的互补信息可被量化比较。

机制是先以单模态模型分别生成音频描述和视觉描述，再交由大语言模型融合，产出同时覆盖两种模态互补信息的多模态描述；评测显示多模态描述在语义对齐和跨模态检索上优于单模态描述，且保留场景区分度。

对研发而言，可直接复用该数据集与评测流程做跨模态检索、场景理解或描述生成模型的对比实验；产品侧若涉及城市环境感知，可用描述层增强音频与视觉信号的语义接口，但落地成本取决于模型推理与数据许可。

• 用 AVSD-Scenes 作为跨模态检索与场景分类的内部基准，快速比较不同音视频编码方案的语义对齐效果。
• 在城市监控、车载或机器人场景中，尝试以音频与视觉描述融合层替代单一模态输入，验证场景判别准确率提升。
• 复用其数据构造流程，将自有音视频素材转为配对描述数据集，用于微调或评测自有模型。

• 数据集的实际开放许可、下载方式与商用限制尚未在证据中说明。
• 94.5% 与 95.4% 准确率的评测设置、场景类别数量和划分方式未披露。
• 人工主观评估的规模、评分标准与一致性结果未给出。
• 音频与视觉描述融合在不同城市或噪声条件下的泛化能力尚不明确。