CompanionBench：基于理论和真实世界数据的 AI 情感陪伴基准

CompanionBench 是一个交互式双语基准，首次将场景和训练的用户模拟器建立在去标识化的真实世界数据上，用于评估 AI 情感陪伴能力。它基于 25 种心理学和咨询理论定义 10 项能力，通过隐藏披露门控制交互状态空间，并使用跨家族评审小组和 IRT 模型减少评审偏差。对 28 个代理的评估显示，情绪调节和校准挑战是常见弱点，而容忍模糊性辨别力最强。

现有基准依赖手工场景和模拟器，将同理心聚合成单一分数，并存在评审偏差。CompanionBench 首次将真实世界数据用于场景和模拟器，并评估 10 项细粒度能力，揭示了聚合分数掩盖的能力差异，为 AI 情感陪伴产品提供了更可靠的评估方法。

通过去标识化的真实世界数据提供事件、历史和用户画像，理论指导能力和人物角色结构，实现覆盖度和真实性的结合。隐藏披露门根据代理行为分支用户轨迹，控制状态空间。跨家族评审和 IRT 模型分离代理质量和评审严格度，减少同族偏好和尺度漂移。

该基准可用于评估和改进聊天机器人等情感陪伴产品，帮助识别具体能力短板，如情绪调节和校准挑战。开发团队可据此优化模型训练和提示设计，提升用户互动深度，但需注意基准的部署成本和双语复现要求。

• 1. 利用 CompanionBench 的 10 项能力框架，对现有情感陪伴产品进行细粒度能力审计，识别薄弱环节并针对性优化。
• 2. 引入隐藏披露门机制，设计动态交互测试流程，验证代理能否逐步获取用户更深层的自我表露，提升真实陪伴质量。
• 3. 参考真实世界数据构建用户模拟器，用于模拟不同人格的互动轨迹，辅助产品迭代和回归测试。
• 4. 在中文和英文环境中定期运行基准测试，监控能力变化，确保双语体验一致性。

• 1. 该基准评估的 28 个代理具体是哪些模型或产品？表现最好的代理在各项能力上的具体表现如何？
• 2. 基准中的去标识化真实世界数据来源是什么？数据规模和隐私保护措施是否足够？
• 3. 隐藏披露门的设计细节和不同代理间的效果差异未被提供，需更多细节。
• 4. 基准如何与商业情感陪伴产品的核心指标关联？能否有效预测用户留存或满意度？