MemCalib：评估与优化 LLM 智能体的记忆使用

该论文提出 MemCalib，一个基于真实记忆系统场景的基准，用于评估 LLM 能否恰当地给上下文中的每条记忆分配影响力。测试显示，前沿开源与闭源模型普遍过度使用或使用不足记忆，导致回答有偏、质量下降。常见后训练算法如 GRPO 和 on-policy self-distillation 存在方向性偏斜：改善一个方向时另一个方向变差。作者进而提出 MemCalib-RL，通过分离过度与不足信号改善平衡。

以往智能体记忆研究多聚焦存储、检索与压缩，较少衡量模型是否恰当地使用已检索到的记忆。该工作报告了前沿模型与常见后训练方法在这一维度上的系统性缺陷，并把记忆使用从工程问题扩展为可评测、可训练的能力维度。

MemCalib 的核心假设是：记忆效果取决于模型能否让上下文中每条记忆对回答产生与其目标程度相符的影响。若模型无法校准这种影响力，就会过度依赖或忽视某条记忆。MemCalib-RL 用有序双向反事实信用分配，通过精确原子消融把过度与不足信号分开，并定位到具体响应 token 上。

对构建带记忆的智能体产品而言，只优化检索质量并不足够，还需评估模型对记忆的实际使用程度，否则会出现引用无关记忆或忽略关键记忆的偏差。MemCalib-RL 提供了可训练的信号分离方法，为研发团队在微调阶段平衡过度与不足使用提供可操作方向。

• 在记忆型智能体上线前，引入 MemCalib 类评测，单独衡量每条记忆被过度或不足使用的情况。
• 将 MemCalib-RL 的信号分离思路用于微调流程，避免单向后训练导致记忆使用偏差转移。
• 针对客服、个人助理等场景构建内部记忆使用评测集，验证记忆对回答影响力的校准程度。

• MemCalib 的场景与命题划分方式是否覆盖多轮对话、长文档等常见产品场景尚未确认。
• MemCalib-RL 在外部基准上的泛化幅度与推理成本代价未在证据中给出具体数值。
• 该基准对闭源模型的可复现性和评测成本尚无公开细节。
• 过度与不足使用的目标水平由谁定义、是否随任务变化仍不清楚。