UEmbed：统一稀疏与稠密的多模态嵌入模型

UEmbed 是一种解码器-only 的多模态嵌入模型，通过一次因果前向传播同时生成稀疏词级和稠密向量表示。模型在输入后附加 N 个可学习特殊 token，并将词汇表划分为 N 个不相交子集，每个 token 的隐藏状态预测其子集的稀疏权重。UEmbed 提供 2B、4B 和 9B 三个规模，其中 9B 版本在 MMEB-v2 上达到 71.8（稠密）和 71.0（稀疏），优于基于公开数据训练的其他多模态嵌入模型，在 BEIR 上也与强基线相当。

此前学习型稀疏检索（LSR）依赖编码器架构，且多模态扩展需辅助跨模态模块。UEmbed 首次在解码器-only 模型中统一生成稀疏和稠密表示，无需额外模块，直接支持多模态输入，为检索增强生成（RAG）和智能体应用提供了更简洁高效的统一方案。

UEmbed 利用解码器架构的因果注意力，通过在输入中插入 N 个特殊 token，每个 token 对应词汇表的一个子集，其隐藏状态预测该子集的稀疏权重，将 N 个子集拼接成完整稀疏向量，同时模型也能输出稠密表示，从而在一次前向传播中获得两种检索表示，且训练仅依赖公开数据。

对依赖多模态检索的产品（如视觉问答、图文搜索）可减少模型部署数量，降低推理成本。统一表示简化了检索流程，可能提升 RAG 系统的响应速度和准确性，并便于扩展到不同模态。

• 评估将 UEmbed 集成进 RAG 系统，以替代分离的稠密与稀疏检索模型，降低系统复杂度。
• 在图片搜索或图文混合场景试点 UEmbed-9B，对比现有多模态检索模型的准确率。
• 利用 UEmbed 的稀疏多模态表示，构建可解释的检索日志以优化查询改写策略。

• UEmbed 在非公开数据上的表现是否依然优于现有模型？
• UEmbed 的训练数据具体构成和规模未公开，影响结果复现与第三方验证。
• UEmbed 的实际推理延迟与显存占用尚未披露，需实测评估。
• UEmbed 是否支持流式生成或增量索引等工程特性？