RealCompanion：基于长期真实对话推理的人类理解基准

研究者发布 RealCompanion 基准，包含 10 段真实人机陪伴关系、最多 120 天的 27,218 条消息，并衍生出 profile、persona、chat ground truth 和问题集四类文件，每条标签都附有推理链。三项发现：近期窗口即可覆盖 95.9% 的探测需求，真正需要长期记忆的仅 2.2%；现有检测器无法判断真实消息何时需要记忆；三种 agent 系统在 F1 相同时成本相差 31 倍。

此前评估长期记忆多依赖合成人设和预设问题，容易把“记住”与“就近检索”混为一谈。该基准用真实关系与逐条推理链替代合成数据，并首次量化了记忆需求在真实对话中的低频分布，使长期陪伴能力评估从模糊概念转向可分解、可计价的指标。

真实对话中多数消息可仅靠近期上下文回答，因此集中指标会高估记忆价值。基准将每条对话标注为是否依赖历史并附推理链，让记忆需求可被单独度量；同时发现把消息显式标注为记忆会抬高其被引用率，说明模型行为受表述方式影响，而非仅由语义需要驱动。

若按真实记忆需求比例设计上下文窗口与检索策略，可显著降低推理成本，而非盲目延长历史。产品团队应把评测拆成“是否需要记忆”和“检索是否准确”两层，并注意同一批消息以记忆形式呈现会改变模型引用行为，影响线上 prompt 与数据标注设计。

• 在陪伴类产品内部建立分层评测：先测近期上下文足够时的表现，再单独测真正依赖长期历史的样本。
• 针对 2%–3% 的记忆依赖消息设计按需检索触发策略，以压缩常驻上下文带来的推理成本。
• 复用该基准的 profile、persona、ground truth 与推理链结构，为自有产品构建可审计的记忆评测集。
• 在模型选型时对比同 F1 下不同 agent 系统的单次调用成本，优先选择成本低一个量级的方案。

• 2.2% 记忆依赖比例是否适用于陪伴以外的场景，如客服或企业知识助手，证据未覆盖。
• 31 倍成本差异对应的三种 agent 系统具体是哪些、差异来自模型规模还是检索架构，证据未说明。
• 把消息标注为记忆会提升 10–14 个百分点使用率，这一效应在真实产品交互中是否持续存在，尚未验证。
• 该基准仅含 10 段关系、最长 120 天，能否外推到数月以上的长期陪伴，证据不足。