通过奇异向量选择实现 LLM 持续学习中的稳定性与可塑性平衡

该论文提出一种名为 SVC 的参数高效持续学习方法，用于大语言模型的领域适配。SVC 以奇异向量通道为管理稳定性与可塑性的基本单元，先用领域数据估算各通道的适配收益，再用固定的公开通用语料作为历史激活代理估算遗忘成本，随后通过 knee-based 成本筛选、Pareto 前沿过滤与 Otsu 阈值自动选择可训练通道。在四个 LLM 系列和八个下游任务上，SVC 相比现有 PEFT 基线更好地保留了预训练能力，同时取得较强的下游表现。

此前的 PEFT 方法主要靠限制可训练参数量来缓解灾难性遗忘，但缺少判断“可塑性应分配到哪里、稳定性应保留在哪里”的原则性单元。该工作把奇异向量通道作为这一决策单位，并给出可自动执行的筛选流程，使稳定性与可塑性的权衡从粗粒度参数裁剪转向更细粒度的通道级选择。

每个奇异向量通道可视为一个输入到输出的变换：更新它用于获取新知识，固定它用于保留预训练能力。SVC 据此为每个通道分别打分，适配收益由领域数据估计，遗忘成本则借助固定通用语料作为历史激活的代理来估计，再通过 knee-based 成本筛选、Pareto 前沿过滤和 Otsu 阈值联合决定哪些通道可训练，从而在有限参数预算内分配可塑性。

对需要把通用模型适配到垂直领域的团队而言，这一思路意味着可以在微调前先做通道级收益与遗忘成本评估，再决定更新范围，从而降低灾难性遗忘带来的回退风险与返工成本。工程上多了一步基于领域数据和通用语料的打分筛选流程，但可减少全量重训或反复调参的开销，适合纳入领域微调的常规流水线。

• 在领域微调前加入通道打分与筛选环节，作为可配置的微调前置步骤，输出可训练通道清单。
• 将 SVC 的收益与遗忘成本打分做成可视化报告，供产品与算法团队评估领域适配的遗忘风险。
• 针对多领域连续适配场景，验证 SVC 在任务序列中的表现，并沉淀为可复用的微调配置模板。
• 围绕固定通用语料作为遗忘成本代理的做法，建立可替换的语料与评估基线，降低对单一代理的依赖。

• SVC 在四个 LLM 系列和八个下游任务之外的其他模型与任务上是否同样有效？
• 以固定公开通用语料作为历史激活代理，是否会因语料选择不同而显著改变通道打分结果？
• 该方法额外引入的打分与筛选流程在训练时间、显存和工程复杂度上的实际开销有多大？
• 在真实产品的多轮连续适配中，SVC 能否长期避免遗忘累积，证据尚未给出。