SemMSA：潜语义辅助的不完整数据多模态情感分析框架

arXiv 论文提出 SemMSA，针对多模态情感分析中数据不完整的问题。此前方法多通过重建模态特征或复杂融合机制来补全缺失信息，但容易产生虚假生成和噪声引导。SemMSA 利用 LLM 构造情感相关语义，并通过无锚点谱对齐与所有模态融合，包含跨模态语义精炼和跨模态谱对齐两个模块，在 SIMS、MOSI、MOSEI 上进行了实验。

此前的缺失模态补全依赖特征重建或融合设计，缺少高层语义约束，容易引入虚假信息和噪声。SemMSA 把 LLM 的潜语义作为辅助信号，并用无锚点谱对齐同时对齐所有模态，试图在不完整数据下获得更稳健的表征，这为多模态情感分析提供了一条不同于重建路线的新思路。

SemMSA 先用适配器提取视觉和声学表示，与语言在冻结的 LLM 嵌入空间组成统一多模态前缀；再通过 token 高效的潜精炼过程迭代生成连续判别语义状态，不显式解码文本。跨模态谱对齐则增强各模态核 Gram 矩阵的主要谱分量，捕捉全局非线性依赖，无需预设锚点模态；实例级谱分离约束用于保持跨样本区分度并缓解表征坍缩。

对产品研发而言，该方法提示在不完整多模态输入场景下，可考虑引入 LLM 潜语义作为辅助监督信号，而不是仅做特征重建；无锚点对齐减少了选择主模态的工程负担。若方法可复现，可能降低对完整多模态数据采集的依赖，在客服、社交监听等场景中提升缺失数据下的情感判断稳定性。

• 在现有客服或舆情系统中接入缺失模态场景测试集，验证潜语义辅助是否优于特征重建基线。
• 将无锚点谱对齐模块封装为可插拔组件，用于视频、语音、文本混合输入的情感分类流程。
• 在标注成本高的场景中，评估冻结 LLM 加轻量适配器方案能否减少全量微调需求。

• 论文在 SIMS、MOSI、MOSEI 上的具体提升幅度和完整实验结果尚未在证据中给出。
• SemMSA 对 LLM 选型、冻结策略和适配器结构的敏感度未知。
• 该方法在真实业务数据缺失模式下的泛化能力尚未验证。
• 推理成本与 token 效率的实际表现缺少量化对比。