LLM 智能体记忆提交的跨家族评估：记住、验证还是询问？

arXiv 发布了一项跨模型评估研究，提出了 MCB 基准，内含 140 个主场景和 70 个对照场景，用于评估 LLM 智能体的记忆提交决策。研究发现，模型在验证变化事实方面比询问用户更可靠，但询问澄清的能力较弱。少样本提示将准确率从 0.557 提升至 0.771，但澄清召回率仅 0.333。政策提示减少了错误持久化，但准确率提升不显著。

研究揭示了 LLM 智能体在记忆持久化与澄清之间的边界问题，提供了首个专门基准 MCB，并发现现有模型在主动询问用户方面存在明显不足，这对构建可靠个性化智能体具有参考价值。

LLM 智能体通过持久记忆个性化，但错误更新会扭曲未来行为。MCB 通过对比不同选择（持久化、仅当前使用、重新验证、询问用户），检验模型识别信息时效性和模糊性的能力。研究发现模型过度依赖验证而非询问，可能受训练数据中指令跟随模式影响；少样本提示能提升整体准确率但无法弥补澄清短板。

对依赖长期记忆的 AI 产品（如个性化助手）而言，模型在澄清询问上的低召回率可能导致误解用户意图，影响体验；但政策提示能有效减少错误持久化，提示可通过提示工程降低记忆错误风险。

• 开发基于 MCB 的评估工具，用于筛选适合记忆敏感场景的模型。
• 设计混合策略：对变化信息采用验证机制，对歧义信息强制触发用户澄清。
• 在智能体系统中加入提示策略，减少错误持久化，提升记忆可靠性。

• MCB 基准是否覆盖足够多的真实场景以代表广泛对话？
• 提示方法在更大模型或更多模型家族上是否同样有效？
• 错误持久化对用户体验的长期影响是否显著？