ReCAP：用检索引导多模态持续指令微调中的能力复用

一篇 arXiv 论文提出 ReCAP 框架，用于多模态持续指令微调（MCIT）。现有方法主要通过约束参数更新或分离任务专用适配来缓解灾难性遗忘，而 ReCAP 改为利用外部知识：在每个持续阶段用外部搜索和大模型，基于当前阶段训练数据增量构建包含领域、推理和格式知识的知识库。回答指令时，检索到的领域知识引导生成，推理知识用于选择并排序能力模块，形成针对实例的能力路径。

此前 MCIT 主要靠限制参数更新或隔离任务适配来减轻遗忘，外部知识在持续适应中的作用基本未被探索。ReCAP 把外部知识引入持续学习流程，并让能力模块跨阶段复用，为缓解遗忘提供了不同于参数约束的路径，值得关注其跨阶段复用稳定性如何解决。

机制上，ReCAP 将能力拆分为可复用的能力模块，并通过检索到的推理知识决定模块的选择与执行顺序，从而为每条指令动态组合能力路径。领域知识用于补充对象、空间关系等概念，格式知识约束输出结构。由于模块跨阶段复用，后续适应可能覆盖先前学到的参数，因此需要额外的稳定跨阶段复用机制。

对多模态产品团队而言，这一思路意味着可以把持续学习的一部分负担从反复微调参数转移到可增量维护的外部知识库与可组合能力模块上，可能降低每轮新增任务时的训练成本，并让模型行为更可追溯和可配置。但知识库构建依赖外部搜索和大模型调用，会引入推理延迟与运营成本。

• 在多模态助手产品中试点按任务阶段增量构建领域、推理、格式知识库，并评估检索延迟对交互体验的影响。
• 将频繁复用的推理步骤封装为可排序的能力模块，供不同指令动态组合，减少重复微调。
• 针对空间关系问答等具体场景，建立能力路径与模块复用的离线评测集，验证跨阶段遗忘程度。

• 证据未说明 ReCAP 在不同 MCIT 基准上的具体准确率与遗忘率对比结果。
• 证据未说明跨阶段复用导致参数覆盖时采用何种机制保证稳定复用。
• 证据未说明知识库构建与检索带来的额外计算成本和延迟。
• 证据未说明该方法是否以及如何在真实产品规模的数据上验证。