评估智能体的欺骗能力：基于社交推理游戏 ParliamentBench 的推理与欺骗测试

arXiv 发布了一项基于社交推理游戏 Secret Hitler 的开源基准框架 ParliamentBench，用于评估大语言模型在信息不对称场景下的欺骗、说服与推理能力。研究者对16个LLM进行了1600场模拟对局，并引入三个新指标。结果显示，前沿模型（GPT-5.4、Kimi K2.5、Grok 4.1 Fast、DeepSeek 3.1 Terminus）在合作与欺骗角色上表现突出，而最弱模型甚至低于随机（33%）和算法（45%）基线。多数LLM在维持欺骗人设上存在困难，一致性保持率低于50%。

此前对LLM欺骗能力的评估多依赖静态问答或简单博弈，缺乏对信息不对称下动态对抗行为的可控测试。ParliamentBench 提供了标准化、可复现的评估框架，并能在与人类及在线游戏对比中揭示模型在欺骗一致性上的短板，这对高风险场景（如医疗、法律）的AI部署安全有直接参考价值。

社交推理游戏通过角色分配（合作/欺骗）和隐藏信息，要求模型在多方交互中综合推理、说服他人并维持一致的欺骗性叙事。ParliamentBench 引入的三个新指标分别聚焦于社交推理能力、纯推理能力和欺骗一致性，从而将模型表现分解。结果显示，前沿模型在复杂策略上接近或超过人类水平，但一致性问题（低于50%）表明当前模型在长期欺骗中容易“露出马脚”，可能源于上下文窗口内的注意力漂移或策略规划能力不足。

若将LLM嵌入需要谈判、客服或博弈的产品，团队需关注其欺骗一致性风险，避免模型在对话中前后矛盾。该基准可用于模型选型：优先考虑 top-4 集群模型（GPT-5.4等），或针对性优化长上下文一致性。测试成本可能增加，但能减轻安全合规风险。

• 在内部评测中加入 ParliamentBench，用于筛选适合高交互场景的模型，并制定欺骗一致性达标线（如>50%）。
• 针对多轮对话产品，设计基于欺骗一致性的对抗测试用例，作为上线前的安全门禁。
• 开发基于此基准的监控工具，实时检测模型在多轮交互中的立场漂移或前后矛盾。
• 与模型供应商沟通，要求提供欺骗一致性优化方案，或选择 Grok 4.1 Fast 等表现更强的模型。

• ParliamentBench 的具体评测指标和基准代码尚未公开，无法外部复现。
• 模型在真实业务对话中的欺骗行为是否与此基准表现一致，未经证实。
• top-4 集群模型的卓越表现是否依赖特定训练数据或提示词，证据未说明。
• 欺骗一致性低于50%是否与上下文长度或角色复杂程度相关，当前证据不足。