PerSo：在真实世界说服场景中考察 LLM 社交智能的多个面向

研究者发布 PerSo 基准，用于评估 LLM 的社交智能。该基准从 Reddit 的 ChangeMyView 社区提取真实说服对话，用 LLM-in-the-loop 流程构建评估任务，并通过人工标注验证。评估覆盖多个 LLM，表现总体随模型规模提升，但各维度不一。最强 LLM 在行为任务上略超最佳人类表现，最佳人类参与者在认知任务上仍领先。

此前基准多用合成场景，且把认知与行为两个面向分开评估。PerSo 首次把它们放在同一真实说服语境中考察，并引入人工标注验证，使 LLM 社交智能的评测更接近实际人机交互与多智能体场景。

说服场景天然同时要求推断他人心理状态（认知智能）和选择合适社交动作（行为智能）。PerSo 用 ChangeMyView 真实对话作为素材，通过 LLM-in-the-loop 流水线构造任务，再由人工标注校准，从而在统一框架下区分两类能力并比较模型与人类。

对涉及人机对话、客服谈判或说服类功能的产品团队，PerSo 提供了可复用的评测维度：仅看模型规模不够，需分别检查心理推断与行动选择。研发可将认知与行为指标拆开做回归测试，避免单一口径掩盖短板。

• 在对话式产品或客服系统中引入 PerSo 式双维度评测，分别跟踪认知推断与行为选择指标。
• 针对说服类场景，用 ChangeMyView 风格的真实对话构建内部回归集，减少合成数据带来的偏差。
• 为需要同理心推断的功能单独设立认知智能基线，避免被行为表现掩盖。

• PerSo 的具体任务形式、评分标准和数据规模尚未在证据中说明。
• LLM-in-the-loop 流水线本身是否引入偏差，证据未给出结论。
• 该基准对中文或多语言说服场景是否适用，证据未提及。
• 行为任务上 LLM 略超人类是否具有统计显著性，证据未说明。