LoCA：一次性校准后仅前向的 LLM 调优方法

LoCA 是一种两阶段小偏移调整方法。它用一次探头反向传播在每个 Transformer 块拟合低秩映射，将最终预测误差转换为局部隐藏状态修正，然后仅用前向激活形成块级回归目标，通过岭回归闭式求解适配器，不再需要反向传播。在 Qwen2.5 0.5B 至 14B 的五个判别式基准测试中，25 项任务规模比较里 LoCA 有 16 项低于 LoRA 的交叉熵。测量显示，其 GPU 峰值内存比 LoRA 低 26% 至 29%，校准后 CPU 稳态内存低 36% 至 52%，单次通过时间低 43% 至 48%。代码已公开。

传统参数高效微调（如 LoRA）虽只训练少量参数，但每次更新仍需通过冻结主干进行反向传播，依赖支持反向的硬件并反复存储或重算激活。LoCA 将全局信用分配摊销为一次性校准，后续调整仅需前向传播，显著降低内存和计算开销，使在反向传播不现实的场景（如内存受限设备）中进行模型调整成为可能。

LoCA 在校准阶段用一次反向传播为每个 Transformer 块拟合低秩映射，将最终预测误差映射到局部隐藏状态修正。之后，这些映射将前向激活转换为块级回归目标，再用岭回归闭式解拟合低秩适配器，无需进一步反向传播。这改变了参数高效微调中反向传播的高频需求，将成本集中到一次性校准，后续适配仅需前向计算，从而实现资源消耗的大幅降低。

LoCA 可减少模型微调时的 GPU 峰值内存需求约 26% 至 29%，校准后 CPU 稳态内存降低 36% 至 52%，单次通过时间降低 43% 至 48%，适用于资源受限的设备或云端推理环境。产品团队可将 LoCA 集成到微调工具链中，降低硬件门槛和成本，提升模型适配效率，尤其适合需要频繁更新模型但算力有限的产品场景。

• 将 LoCA 集成到模型微调工具链，作为 LoRA 的替代方案，降低 GPU 内存需求。
• 基于 LoCA 实现边缘设备上的端侧模型定制，利用仅前向调优特性。
• 利用其校准后 CPU 内存和时间优势，开发按需模型适配服务。

• LoCA 在生成式任务（如指令微调）上的效果未知，论文仅提及判别式基准。
• 校准后适配的迭代次数或数据量上限未在摘要中说明。
• LoCA 是否适用于非 Qwen2.5 系列模型（如 Llama 或 GPT 类）仍需验证。