知识引导的多模态推理用于视频级别的矛盾与犹豫识别

PRISM-AH框架提出一种知识引导的多模态推理方法，用于视频级别的矛盾与犹豫（A/H）识别。该框架对齐视觉、音频和文本编码器至短时间窗口，通过流式模型计算跨模态失调、预测下一窗口以暴露犹豫信号、发现行为原型，并结合参与者元数据。知识引导的大语言模型基于专家提示分类法推理结构化证据，与模型输出进行晚期融合。在525个视频的公开测试集上，PRISM-AH的宏F1达到0.6133，远高于零样本基线0.2827。

此前视频级矛盾与犹豫识别缺乏有效方法，基线性能低下（宏F1 0.2827）。PRISM-AH通过多模态冲突建模、流式预测和知识引导LLM推理，将性能提升至0.6133，使自动识别该复杂情感状态成为可能，为健康行为改变领域的应用提供了新工具。

A/H信号来自面部、声音、语言、身体等模态内部及之间的不一致，且随时间演变。PRISM-AH将A/H视为多模态冲突，先冻结编码器生成短窗口表示，再由轻量流式模型评分跨模态失调、预测下一个窗口（产生犹豫惊讶信号）、发现行为原型，并融合参与者元数据。知识引导的LLM利用专家标注的因果提示分类法对结构化证据进行推理，在验证集效果提升时才启用晚期融合，从而提升泛化能力。

该框架可嵌入健康行为干预类产品的用户情绪分析模块，用于识别用户在视频对话中的犹豫和矛盾状态，从而动态调整干预策略。但当前是研究原型，未提及计算成本和实时性，需进一步工程优化才能集成到产品中。

• 基于PRISM-AH开发视频心理咨询助手的矛盾识别插件，辅助咨询师判断用户犹豫状态
• 将流式多模态失调评分用于健身或健康行为应用，实时检测用户放弃倾向并推送鼓励

• PRISM-AH在其他领域（如教育、客服）的A/H识别泛化能力如何？
• 该框架在真实场景中的推理延迟和计算资源需求是否满足实时交互？
• 知识引导LLM的推理结果在多大程度上依赖人工定义的专家提示分类法？
• 能否仅利用音频和文本模态替代完整多模态输入以降低部署成本？