MemTrapBench：评估 LLM 记忆使用中的认知陷阱

MemTrapBench 是一个新的基准，用于评估 LLM 记忆中的认知陷阱，包括推理固化和信念扭曲两类。实验显示，所有评估的记忆策略在 MemTrapBench 上表现都不如无记忆设置，最强方法也下降超 10%。研究者提出 AdaptiveMem 方法，能减轻认知陷阱，同时保持或提升标准记忆基准的性能。

现有记忆基准只关注信息的提取、存储和检索，忽略了记忆如何影响推理和当前任务表现。MemTrapBench 首次系统评估记忆引发的认知陷阱，发现即使准确且相关的记忆也可能损害性能，凸显了记忆系统设计中的盲区。

LLM 的记忆系统会将检索到的记忆融入推理，但相关记忆可能引发推理固化（固定在旧模式）或信念扭曲（错误改变认知），导致当前任务表现下降。MemTrapBench 通过特定任务触发这些陷阱，量化其影响。AdaptiveMem 通过推理时指令让模型主动避免记忆陷阱，从而缓解问题。

对使用记忆增强的 LLM 产品，需警惕记忆可能带来的负面影响。团队在优化记忆策略时，除了准确率，还需评估对推理的干扰。AdaptiveMem 类方法可用于降低认知陷阱风险，提升用户体验。

• 在 LLM 产品的记忆模块中集成 AdaptiveMem 类似的推理时控制，以减少认知陷阱。
• 基于 MemTrapBench 设计内部测试集，定期评估记忆策略对推理的潜在负面影响。
• 针对记忆增强场景开发用户可调节的'记忆影响'开关，允许用户控制记忆对推理的干预程度。

• MemTrapBench 是否能覆盖所有类型的认知陷阱，或是否存在其他未识别的陷阱形式？
• AdaptiveMem 在超长记忆或复杂任务场景下是否依然有效？
• 当前实验仅基于两个模型家族和五个记忆框架，结论的普适性需进一步验证。