Fusion Embedding：文本、图像、视频和音频的统一嵌入空间

Fusion Embedding 系列模型将音频嵌入到冻结的视觉-语言基础模型中，不更新基础参数。第一代使用 16.4M 参数的连接器连接音频塔；第二代增加 44.2M 参数的模态门控深度适配器，该分支仅在音频输入时激活。仅对齐音频到文本即可零样本实现音频-图像检索。模型在单 GPU 上数小时完成训练，权重和代码已开源。

此前视觉-语言嵌入模型缺乏音频，音频-文本检索由专门系统主导。Fusion Embedding 首次实现了文本、图像、视频、音频的统一嵌入空间，且无需音频-图像配对数据即可跨模态检索，训练成本低、开源可复现。

冻结的视觉-语言基础模型已绑定文本、图像、视频的嵌入关系。通过仅训练音频到文本的对齐连接器或适配器，使音频嵌入自动映射到该统一空间，从而零样本继承基础模型的跨模态检索能力。论文还通过消融实验揭示了训练协议中的负面设计选择。

可直接用于构建统一的多模态索引与检索系统，用户可用文本、图像、视频或音频任一模态发起查询。降低开发和维护多个单模态检索系统的成本，尤其适合已有视觉搜索产品的团队快速添加音频能力。

• 基于开源模型开发支持文本、图像、视频、音频四模态的统一搜索引擎
• 在现有图像/视频搜索产品中增加音频查询入口，提升用户体验
• 利用模型零样本能力构建音频-图像/视频推荐系统，无需额外标注数据

• 模型在真实场景中的检索精度是否与论文基准一致？
• 对短视频中的复杂音频（如背景音乐+语音）是否依然有效？
• 开源模型是否支持中文等多语言输入？
• 模型在边缘设备上的推理延迟和资源占用如何？