RealCompanion：基于长期真实对话推理的人类理解基准测试

研究者发布 RealCompanion 基准，包含十段真实人际关系中与 AI 伴侣的对话，共 27,218 条消息、跨度最多 120 天，并附带由对话派生的 profile、persona、聊天标注真值和问题集四个文件，每条证据都引用其依据的消息。测试得出三点：过去信息很少被真正需要，聚合指标会误导，95.9% 的探针可由最近窗口找到所需消息；没有检测器能判断真实消息何时需要记忆；三种 agent 系统以相差 31 倍的成本取得相同 persona 重建 F1。

此前同类评测多由模型生成人物与问题，并预先规定什么重要；该基准改用真实关系与真实对话，还要求每条标注附推理链并逐阶段核对，因此首次能在真实分布上暴露记忆需求判断与成本效率的差异。

基准把一段长期对话拆成对话原文加四个派生文件，并让每个聊天标签携带产生它的推理轨迹，便于逐步校验。真实消息中需要长期记忆的比例极低，导致按整体统计的指标被大量无需记忆的样本稀释；同时把消息标注为记忆后会提升其被使用率十到十四个百分点，说明提示方式本身会泄漏线索。

对做长期陪伴或记忆型 agent 的团队，评估不能只看聚合分数，需按是否需要记忆分层统计，并以近期窗口作为基线对照。由于三种系统在相同 F1 下成本差达 31 倍，选型应把成本纳入指标；无检测器能判断记忆需求，意味着产品需在检索或记忆调用策略上另寻方案。

• 在记忆型 agent 评测中加入分层指标，分别报告需要记忆与不需要记忆的探针表现，并固定近期窗口基线。
• 针对 31 倍成本差，对候选 agent 系统做同等 F1 下的成本对比测试，输出成本效率报告指导选型。
• 设计不依赖模型自判的记忆触发策略，例如基于消息与历史证据的显式引用或检索评分阈值。
• 在标注或提示流程中避免把消息直接标为记忆，防止使用率被人为抬高，改用中性提示做对照实验。

• 十段真实关系与 27,218 条消息的构成与语言分布如何，能否代表更广的陪伴场景。
• 被检查的三种 agent 系统具体是哪几种，31 倍成本差来自哪些环节。
• 尝试过的记忆需求检测器有哪些，为何在真实消息上失效。
• 该基准及其派生文件是否公开、以何种许可发布，是否可复现上述指标。