ReGRA：面向互补低秩微调的残差梯度适配方法

一篇 arXiv 论文提出 ReGRA，用于低秩微调。作者在 rank-16 LoRA 诊断实验中发现仅保留最大奇异分量效果最好，继续增加分量反而降低性能。ReGRA 因此分两阶段：先在校准集估计任务梯度并去除其在一阶段更新子空间上的投影，再用残差梯度方向初始化二阶段适配器，两阶段更新可合并进预训练权重，不增加推理开销。

此前扩大 LoRA 秩通常被视为提升适配能力的路径，但该工作指出新增秩方向未必带来收益，甚至可能损害下游表现。它把关注点从秩大小转向如何在固定秩预算内挑选互补方向，并用相同总秩匹配双倍秩 LoRA，为参数高效微调提供了新的效果基准参照。

核心机制是去除冗余方向：一阶段更新会张成一个双侧子空间，ReGRA 在校准集上计算任务梯度并减去其在该子空间上的投影，使二阶段只学习与之正交的残差方向，并以正交正则项约束两次更新互补。由于二阶段初始化不修改一阶段结果，且两者可合并入原权重，因此引入的是训练期额外流程而非推理期成本。

对使用 LoRA 做模型定制的团队，这意味着可优先优化秩的分配方式而非单纯加秩，从而在相同显存与推理成本下争取更高下游指标。落地时需要新增校准集和梯度投影、二阶段训练流程，训练管线复杂度上升，但部署端不变，适合对推理成本敏感的定制场景。

• 在现有 LoRA 微调管线中加入校准集与二阶段残差梯度初始化，作为同秩预算下的可选增强模块。
• 基于论文公开代码 https://github.com/Fanyao-Li/ReGRA 复现 rank-16 诊断实验，验证自身业务数据上的分量裁剪收益。
• 针对多任务或多领域适配，测试用正交约束拆分不同任务的更新方向，减少适配器相互干扰。
• 把"同总秩对比双倍秩 LoRA"作为内部评测基线，纳入微调方案选型流程。

• ReGRA 在更大规模模型和更长训练步数下是否仍保持同秩优势，证据尚未覆盖。
• 校准集的规模、领域分布对残差梯度估计质量的影响，论文未在证据中说明。
• 两阶段训练相比单阶段 LoRA 的额外训练时间与显存开销具体数值未知。
• 该方法与量化、其他参数高效微调方法的组合效果尚未确认。