AI 如何体验艺术：自监督多模态嵌入空间中的涌现美学结构

一篇 arXiv 论文提出了一种自监督框架，将文本、音频、图像和视频四种模态投影到共享的 256 维嵌入空间，并通过迭代聚类发现美学结构。该研究探讨了在弱监督多模态数据集上，AI 生成的聚类结果与人类情感标签之间的差异。应用方向包括理解跨模态相似性、整理异构媒体集合以用于检索增强生成（RAG）以及自动化数据标注。

此前美学归类通常依赖人工标签或跨模态监督，本文首次展示 AI 可在无显式标签的情况下，自发形成跨模态的美学聚类，其结构可能与人类情感分类不同。这提示 AI 对艺术的理解可能具有独立于人类的模式，对艺术相关 AI 系统的设计具有参考意义。

自监督框架将四种模态映射到统一的嵌入空间，通过迭代聚类发现数据内在的相似性结构，从而形成美学分组。由于没有标签引导，聚类反映的是模型基于数据分布自身发现的模式，因此可能与人类的 affective register 标签不一致，展示了 AI 自主形成美学概念的机制。

该框架可用于自动化组织大规模多媒体内容库，例如按美学特征聚类，为 RAG 提供更好的检索结构，减少人工标注成本。产品团队在构建媒体管理、内容推荐或创意工具时，可借鉴该方案实现无标签的内容分类和检索优化。

• 开发基于嵌入聚类的媒体库自动分类工具，按美学风格组织素材库，用于 RAG 或创意工作流程。
• 在内容推荐系统中尝试用无监督美学聚类代替部分人工标签，探索提升相关性和多样性的可能性。
• 为创意工具提供跨模态艺术风格相似性检索能力，帮助用户按美学特征发现作品。
• 基于该框架构建自动数据标注辅助系统，减少人工标注工作量并提高标注一致性。

• 该框架在更大规模、更多模态数据集上的效果和泛化能力如何？
• 实际应用中的计算成本和聚类稳定性如何？
• AI 美学聚类与人类标签差异的具体程度是否已量化？
• 该框架是否已在实际产品中验证其有效性？