MGSI：面向基于 LLM 的多模态情感分析的多粒度情感集成

arXiv AI 发布论文 MGSI，提出一种面向基于 LLM 的多模态情感分析的多粒度情感集成框架。该方法在短、中、长三个时间尺度编码音频和视觉流，通过文本引导对齐和极性/强度感知增强，将多模态表示压缩为少量伪标记以适配冻结 LLM。在四个公开基准上，MGSI 显著优于冻结 LLM 基线，并与强多模态方法相当。

此前许多基于 LLM 的多模态方法通过浅层投影或粗粒度池化压缩音频和视觉信号，导致跨模态对齐减弱、细粒度情感信息丢失。MGSI 提出多时间尺度编码与文本引导精化，在保持 LLM 语义先验的同时，更有效地融合音视频信号，提升了情感极性和强度预测的准确性，为多模态情感分析提供新思路。

音频和视觉情感线索随不同时间尺度演化，短、中、长尺度编码可同时保留局部变化和全局趋势。文本引导对齐有助于非文本特征与文本语义对齐，极性/强度感知增强则针对模糊和近中性样本进行校准。将多模态表示压缩为伪标记，使冻结 LLM 可以高效处理多模态输入，无需微调模型。

对依赖多模态情感分析的产品（如社交媒体监测、市场洞察、客户服务）可能提升情感分类准确性，尤其是模糊或复杂情绪场景。该方法使用冻结 LLM 和伪标记压缩，可能降低计算成本，便于集成到现有 LLM 工作流中。但具体效果和可复用性需要进一步验证。

• 将 MGSI 集成到现有情感分析平台，优化社交媒体舆情监测的细粒度情感识别。
• 基于 MGSI 开发多模态情绪标注工具，辅助客服或市场团队分析用户视频反馈。
• 利用 MGSI 的伪标记压缩特性，降低多模态情感分析的推理延迟，提升实时应用性能。
• 对 MGSI 进行开源或商用评估，探索其在不同语言和文化场景中的适用性。

• MGSI 在真实产品应用中的准确率和延迟表现尚未有独立评测。
• MGSI 的模型规模和部署成本是否适合中小团队？
• MGSI 能否处理低质量音频或视频输入？
• MGSI 在非英语文本上的表现和适配性如何？