抖音多模态嵌入模型技术报告

抖音发布多模态嵌入模型DME技术报告。DME通过两阶段训练（大规模对比预训练加证据接地推理与跨条件重建）兼顾效率与判别力，在MMEB-v2基准上达到2B和9B规模的最新最优结果，且推理时开销接近标准对比编码器。

现有MLLM嵌入模型难以兼顾亿级索引效率与精细匹配能力，DME通过训练阶段机制在不增加在线开销的情况下提升细粒度判别，为大规模平台搜索推荐提供新方案，并刷新MMEB-v2基准。

DME先进行对比预训练建立统一嵌入空间，再在第二阶段引入证据接地潜在推理和跨条件重建，仅用于训练、不增加在线推理成本，从而在保持标准对比编码器效率的同时增强嵌入语义充分性。

DME可作为高效嵌入模型用于抖音等平台的搜索和推荐系统，在亿级索引下提供更精细的匹配能力，而查询侧开销增加很小，有利于提升线上相关性并控制成本。

• 在搜索或推荐系统中接入DME-2B作为嵌入模型，评估其对比现有模型的召回与排序效果，并监控在线延迟。
• 利用DME的跨条件重建特性，探索跨模态检索（如图片搜视频）的新功能。
• 针对垂直领域微调DME，提升长尾内容的精细匹配能力。
• 结合MMEB-v2评测集建立内部基准，持续追踪DME后续版本。

• DME的开源计划和模型权重可用性未在证据中说明。
• DME在抖音实际业务中的部署效果和上线时间未在证据中披露。
• 证据未提供与现有商业嵌入模型的直接对比数据。
• 9B变体的具体参数量和训练细节未完全公开。