适配位置很重要：面向能力保留的层选择性微调

一篇 arXiv 论文提出，参数高效微调（PEFT）虽能让大模型适配专门任务，却常损害预训练获得的通用能力。作者不采用数据回放或正则化，而是研究“适配应放在哪里”：不同 Transformer 层的目标任务增益与能力退化程度不同。论文用逐层经验 Fisher 信息衡量任务敏感度，并提出仅前向计算的输入—输出余弦相似度作为轻量代理指标，据此只在低相似度层放置 LoRA 适配器，形成 Layer-Selective LoRA（LS-LoRA）。在数学推理与代码生成任务上，其平均目标任务表现优于标准全层 LoRA，同时保留更多常识推理能力。

此前缓解微调能力退化主要依赖数据回放或正则化，需要额外数据或显式优化约束，成本与流程负担较高。该工作把问题从“如何约束”转向“在哪一层适配”，并给出无需反向传播的筛选信号，若结果可复现，将改变微调方案的设计顺序与资源分配方式。

论文观察到低输入—输出余弦相似度的层具有更高的经验 Fisher 信息，即对目标任务更敏感；把可训练 LoRA 适配器只放在这些层，相当于把有限适配容量集中到目标任务最相关的表示变换上，从而减少对通用能力所依赖层的扰动。余弦相似度只需前向计算，避免了 Fisher 分数逐层反向传播带来的高昂成本。

对研发团队而言，该方法提供了一种低成本选择微调层的操作路径：可先计算各层输入—输出相似度排序，再决定 LoRA 注入位置，可能减少训练显存与时间开销。对产品侧，在数学推理、代码生成等垂直场景中，有望在提升目标任务的同时保持通用对话与常识能力，降低多任务部署时维护两套模型的复杂度。

• 将输入—输出余弦相似度计算封装为微调前的层敏感性诊断工具，输出可注入 LoRA 的层排序建议。
• 在现有 LoRA 训练流水线中加入 LS-LoRA 可选策略，支持按相似度阈值自动选择适配层。
• 面向需要兼顾通用能力与垂直能力的场景，提供“目标任务提升 vs 常识保留”对比评测模板。
• 针对大模型微调服务，按层选择策略给出训练成本与能力保留的预估报告，作为定价或套餐依据。

• 输入—输出余弦相似度与经验 Fisher 信息的相关性在其他模型规模、架构和任务上是否稳定成立。
• LS-LoRA 与数据回放、正则化方法组合使用时，能力保留与目标任务表现能否进一步提升。
• 低相似度层选择是否对超参数、LoRA 秩和训练步数敏感，是否存在需要重新调参的风险。
• 论文未披露具体模型、数据集与完整评测细节，其结论在真实产品级微调流程中的可复现性待确认。