用于对话式音乐推荐的多模态语义扩展与约束LLM重排序

团队Semiintelligencn在ACM RecSys 2026 TalkPlayData挑战赛中提出多模态对话式音乐推荐方案，采用三阶段流水线：多模态检索（含CF-BPR、Qwen3、CLAP、SigLIP等七种嵌入空间的衰减加权质心）、轻量重排序（历史过滤、流行度平滑、多样性惩罚）和GPT-4o-mini生成个性化回复。通过差分进化优化RRF权重，在开发集上MRR提升19.5%，最终在Blind B获得0.3213的复合分数。

此文展示了多模态融合（文本、音频、视觉）在对话式推荐中的实际应用，并通过受约束的LLM重排序避免无约束注入带来的性能下降，为多模态推荐系统提供了可验证的优化方法。

系统利用七种嵌入空间构建衰减加权质心，融合BM25和艺术家子串匹配，通过加权RRF融合信号。轻量重排序和LLM生成回复；开发时尝试的LLM注入在无约束时导致nDCG大幅下降（-18.9%），而保守注入（9个会话）效果最佳，表明约束策略对性能至关重要。

多模态检索和受约束的LLM重排序可提升音乐推荐的相关性与个性化，但无约束的LLM注入风险高，需谨慎部署。成本与复杂度也需权衡，例如GPT-4.1等方案因成本未部署。

• 在推荐系统中采用受约束的LLM重排序策略，控制注入范围以提升性能。
• 融合多模态嵌入（如音频、视觉）与文本信号，提升冷门内容检索能力。
• 使用差分进化自动优化检索融合权重，减少人工调参成本。

• 保守LLM注入的最佳会话数量是否具有普遍性？
• 多模态嵌入的质心构建对不同数据集的效果如何？
• GPT-4.1响应提示的成本效益比是否能支撑其部署？