从表层到深层：多模态情感理解中的认知评价推理

该论文指出，当前多模态大语言模型（MLLMs）的情感理解多基于可观察的情感线索，易退化为线索与标签的浅层关联，产生 Clever Hans 效应，在线索隐含、跨模态冲突或语言误导时不可靠。作者借鉴情感评价理论，把多模态情感理解重构为从感知到认知评价的过程，并提出配套数据集 CogEmo-40K、模型 CogEmo-MoE 与评测基准 CogEmo-Bench，后者引入评价证据质量分 AEQS，实验显示该范式在基准上领先。

此前多模态情感理解主要评测“预测出什么情绪”，对“情绪为何产生”缺乏衡量，模型容易依赖表面线索形成捷径。该工作把认知评价维度纳入任务定义、数据构造与评测指标，将评估重点从标签预测转向证据支撑的推理，为可解释情感理解提供了新的数据、模型与度量组合。

机制上，它用感知到评价的流水线构造指令微调数据，让模型围绕六个认知评价维度给出有证据支撑的推理；模型层面在紧凑的稀疏 MLLM 中插入交错 MoE 模块，对不同评价维度做针对性适配，从而在明显更小规模下完成评价推理；评测层面用 AEQS 衡量评价证据质量，而非仅比对情绪标签。

对做情感识别、客服质检、内容审核或用户洞察的产品，情绪标签不再是唯一输出，需同时提供可核验的评价证据，这会改变标注规范、数据管线和人工复核流程。采用稀疏 MoE 结构也可能降低推理成本，但前提是团队能接入六维评价标注体系并接受 AEQS 这类新指标。

• 面向客服或舆情产品，试点输出六维认知评价证据链，并让标注团队按 AEQS 思路校验理由质量。
• 在情感分析功能中加入跨模态冲突与语言误导测试集，替换只比对情绪标签的验收标准。
• 评估以紧凑稀疏 MLLM 替代大模型承担评价推理的可行性，比较单位推理成本与准确率。
• 围绕情绪归因理由构建可审计记录，满足内容审核和用户体验研究对解释性输出的需求。

• CogEmo-40K 的规模、标注来源与质量控制流程尚未披露，无法判断其可复用性。
• CogEmo-MoE 相对典型情感 MLLM 的具体参数量与推理成本节省幅度未知。
• 六个认知评价维度的定义及其跨文化适用性未被证据说明。
• AEQS 与人工判断、下游业务指标之间的相关性尚未被验证。