信念与行为脱节：测量视觉语言模型将心智理论转化为协调社交行动的能力

一项新研究引入MOSAIC基准，测试视觉语言模型在社交场景中是否将心智推理转化为协调行为。测试13个模型，发现多数无法产生方向一致的非语言信号，且即使产生信号也无法解释他人行为并作出反应。带显式ToM模块的PCM-LLM在所有条件下成功，表明显式信念-行动耦合是关键。

此前评测将心智理论推理与具身行为分开，未测量推理到行动的差距。本研究首次通过受控基准MOSAIC同时考察口头、空间、注视和表情的协调，发现多数VLM即使具备推理能力也无法转化为行为，且显式ToM约束不带来行为改变，凸显当前模型的深层局限。

社交互动需要将内部信念推断转化为跨通道协调的行为信号。MOSAIC通过合作与竞争场景下的任务设计，系统变化ToM层级，分析信号层面的行为一致性。研究发现两个顺序瓶颈：生成方向一致的非语言信号，以及解读并响应他人行为。PCM-LLM的成功表明显式建模信念-行动耦合是必要成分。

对产品研发，若需构建需要社交交互的AI代理（如虚拟助手、游戏NPC、机器人），当前VLM存在行为生成和解读瓶颈，直接影响交互质量和用户信任。显式ToM模块的引入可能成为设计此类系统的关键架构选择，但需评估计算成本与性能开销。

• 开发集成显式ToM模块的VLM推理框架，提升社交行为一致性。
• 将MOSAIC作为训练与评测数据集，用于微调社交场景下的VLM。
• 构建非语言信号生成强化模块，弥补方向性不足。
• 设计交互式解读反馈机制，帮助VLM实时响应他人行为。

• 显式ToM模块在其他类别的社交任务中是否仍有效？
• MOSAIC能否预测真实产品环境中的社交表现？
• PCM-LLM的内部机制能否移植到大型VLM而不失效率？
• 增加训练数据多样性能否缓解信号生成瓶颈？