LiveMem：在长时运行的LLM推理中维持记忆状态的连续性

LiveMem提出了一种内在记忆方法，为预训练的全注意力LLM添加记忆状态，使得在固定容量KV窗口下，历史信息能跨越整个生命周期持续存在。实验显示其在LongMemEval等基准上表现领先，即使支持证据从当前上下文中移除，仍能基于记忆状态回答问题。

现有方法如上下文保留、摘要和检索，只在工作上下文变化时提供对选定历史的访问，无法提供全生命周期的持久状态。LiveMem将状态连续性确立为一种独立的推理能力，使模型在上下文轮换后依然保持历史信息，这对于长期助手和代理的可靠性至关重要。

LiveMem通过一个内在记忆状态来承载历史信息，该状态的寿命独立于活动上下文。同时，主注意力路径保持有界的KV窗口。该方法结合了上下文轮换与记忆状态维护、面向记忆的后训练以及状态感知的服务，使得记忆状态在原始token被释放后仍能发挥作用。

对依赖长时间对话或持续交互的产品（如客服助手、AI代理），LiveMem可降低上下文管理成本，提升长对话中的记忆一致性。但需要额外的后训练和状态感知服务，可能增加模型部署复杂度和推理时的内存开销。

• 在客服机器人中集成LiveMem，以支持跨多轮对话的长期用户偏好记忆，减少重复询问。
• 开发基于LiveMem的长期项目管理助手，持续跟踪项目状态，不受上下文窗口限制。
• 探索将LiveMem用于代码助手，在大型代码库的持续交互中维持历史代码修改的上下文。

• LiveMem的额外内存和计算开销在实际部署中具体是多少？
• LongMemEval上的实验是否覆盖了足够的多样场景以验证泛化性？
• LiveMem是否适用于不同规模的LLM，以及是否兼容现有的推理框架？