看见、维护与学习：多模态 Agent 记忆的演进

一篇 arXiv 论文提出面向多模态 agent 记忆的两轴分析框架。轴一关注多模态信息如何形成与表示，即保留什么信息、如何编码，例如模态专属 embedding、文本与结构化记录、隐式与参数化表示；轴二关注记忆管理如何随经验演进，划分 T1 静态记忆、T2 动态记忆、T3 自进化记忆三层，并据此归纳设计模式与原则。

此前多模态 agent 记忆讨论多分散在具体系统与单项技术上，缺少统一对比口径。该论文把“信息如何表示”与“记忆策略如何随经验变化”拆成两条独立轴，并给出从静态到自进化的三级划分，使不同方案可以放在同一框架下比较，也让“长期跨会话连续学习”这一目标变成可分层讨论的工程问题。

框架的机制在于把记忆问题分解为表示层与管理层：表示层决定保留哪些模态信息、以何种形式编码，从而影响后续推理与动作的可用性；管理层则决定记忆是被固定复用、按稳定策略更新，还是让策略本身随积累经验演化。论文指出需在来源保真与抽象之间、时间有效性与来源溯源之间做权衡，说明记忆质量与可控性取决于这两层的配合。

对做多模态 agent 的团队，该框架可作为记忆模块的分层设计清单：先明确每类模态信息以什么形式落库，再决定更新策略属于固定、稳定策略还是策略自演化。这有助于避免一上来就做自进化记忆，也提示需要为记忆引入时间有效性与 provenance 字段，否则跨会话连续性和可审计性难以保证。

• 为多模态 agent 产品设计记忆分层选型表，按 T1/T2/T3 标注当前能力与升级成本
• 在记忆存储中加入时间有效性与来源溯源字段，支持过期信息回退与审计
• 围绕来源保真与抽象程度做可配置开关，让不同任务选择原始记录或摘要表示

• 证据仅给出框架摘要，未提供实验数据或基准结果
• T1/T2/T3 的划分是否有可量化的评估指标尚未说明
• 论文所述原则在真实长期任务中的效果缺乏证据
• 该框架对具体模态组合的适用边界未在证据中说明