当上下文变化：理解 LLM 的更新失败

一篇 arXiv 论文提出新基准 Controlled In-Context Memory（CICM），用于评估 LLM 在对话和 agent 日志中追踪并使用更新信息的能力。研究发现，即便前沿推理模型也可能答出同一变量的旧值，作者称之为 stale binding。在开源模型中，当模型输出旧值时，探针仍能提取出更新值，说明问题出在信息选择而非记忆。

此前对上下文记忆的评估多关注模型能否记住新信息，该工作把问题重新定位到“能否在回答时选用当前值”。它给出的基准、探针证据与一层 transformer 分析，使 stale binding 从现象变为可测量、可定位到 attention 层面的失败模式。

作者观察到，当新值与旧值同时留在上下文中，注意力会偏向旧值，称为 attention drift。在一层 transformer 的数学分析中，当注意力分数接近时，多个旧值合计可获得比当前值更高的注意力权重，导致输出旧值，即便新值仍可被探针读出。基于该解释，可在不重新训练的情况下，通过调整干预把注意力重新导向当前值。

对使用长对话、memory 或 agent 日志的产品，仅做记忆写入不足以保证行为正确，需要在生成时校验是否引用了最新状态。团队可在评测中加入同一变量多版本共存的场景，并考虑推理期注意力干预来降低旧值误答，减少因状态过期导致的错误操作。

• 在对话式产品或 agent 框架中加入 stale binding 回归测试：同一变量写入多个版本后，检查模型回答是否使用最新值。
• 针对客服、订单、账户等状态类字段，在生成前插入当前值重排或注意力干预模块，并监控旧值误答率。
• 为 memory 系统增加探针式校验：当模型输出旧值时，用内部表征检测新值是否可读，并触发重试或澄清。
• 把 CICM 基准纳入模型选型和上线评估流程，对比不同模型家族在上下文更新场景下的失败率。

• 该论文的发表与同行评审状态如何，结果是否已被独立复现？
• attention drift 干预在不同模型规模、闭源模型和长上下文下的效果与稳定性如何？
• CICM 基准覆盖哪些任务类型和变量更新模式，是否包含多变量相互依赖的情况？
• 该干预是否会引入额外推理成本或降低原本正确的回答比例？