面向 LLM 助手的可验证社交推理评测框架

研究者提出多智能体模拟框架 Fuse，用于研究用户中介下的社交推理：目标智能体隐藏动机，与包含用户代理的其他智能体互动，受评助手需推断目标动机，并由构造保证可验证的ground truth。研究用 24k 条人类标注验证模拟保真度，并在 12 个 LLM 上系统测试，同时开源 Fuse 与 21k 条样例数据集。

此前 LLM 社交推理评测缺少可验证的ground truth，也难以还原用户主观叙述带来的信息偏差。Fuse 通过多智能体模拟从构造上提供可验证答案，并开源数据集，使社交推理能力可被系统性拆解和横向比较，评测从主观判断转向可复现实验。

Fuse 让带隐藏动机的目标智能体与其他智能体互动，用户代理随后把主观叙述转述给受评助手，助手据此推断目标动机。由于动机由模拟设定，正确答案天然可验证；再用人类标注校准模拟是否贴近真实社交情境，从而把难以量化的社交推理拆成可隔离的变量进行测试。

对做助手类产品的团队，评测结果提示：用户转述会放大社交推理难度，模型对用户有偏框架存在系统性敏感，且可能比人类需要更多细节，更长对话也不必然提升表现。产品设计需关注澄清提问策略、对用户表述偏差的鲁棒性，以及对话长度与准确率的权衡。

• 在社交建议类助手中加入主动澄清机制，在信息不足时先提问再给结论。
• 建立面向用户表述偏差的评测集，检测模型是否随用户框架改变判断。
• 将 Fuse 的模拟评测方法用于内部社交推理能力的回归测试与版本对比。
• 基于开源的 21k 条数据集，开发面向咨询场景的模型微调或提示优化方案。

• Fuse 模拟环境与真实社交咨询场景的差距有多大，24k 标注覆盖了哪些场景？
• 12 个 LLM 的具体名称、版本和评测分数未在证据中给出。
• 偏置敏感性和细节需求差异是否可通过提示或微调显著缓解？
• 开源数据集的许可、语言分布和适用场景尚不明确。