SAPE：用于大语言模型微调的三明治适配器参数高效方法

SAPE是一种基于三明治式硬权重共享拓扑的参数高效微调框架，通过中间Transformer层路由到共享组适配器，同时隔离输入嵌入和最终投影边界变换以防止梯度干扰。在RoBERTa-large上以10%参数预算超越proPETL；在LLaMA-3.2（3B）上，以约0.6M参数约束下，在GSM8K上比AdaLoRA绝对提升+4.85%。

此前参数高效微调（PEFT）虽有减少可训练参数，但参数共享方法或采用均匀共享导致收敛慢，或依赖动态掩码增加计算开销。SAPE首次利用Transformer层间层次结构设计共享模式，在不增加计算开销的同时显著降低内存消耗，在低参数预算下取得更优性能，为PEFT提供了新的高效方案。

SAPE采用三明治式硬权重共享拓扑，将中间Transformer层路由到平衡的共享组适配器，而上游输入嵌入与下游最终投影的边界变换被严格隔离，防止梯度干扰。这种设计既保持了参数共享的效率，又避免了动态掩码带来的额外计算，从而在减少内存消耗的同时提升性能，尤其适用于低参数预算场景。

SAPE可在资源受限场景下以极低参数预算微调大型语言模型，显著降低内存消耗和计算开销，尤其适合边缘设备或成本敏感型应用。在RoBERTa-large上仅用10%参数预算即超越现有方法，在LLaMA-3.2上表现优异，可缩短模型适配周期并降低成本，有望提升模型微调的效率和效果。

• 将SAPE应用于移动端或嵌入式设备的LLM微调，降低内存需求，实现本地化适配。
• 基于SAPE开发低参数微调服务，为客户提供低成本定制模型方案，吸引中小型企业。
• 结合SAPE与知识蒸馏，在极低参数预算下提升小模型CLUB能力，用于特定领域问答或生成任务。
• 探索SAPE在MoE架构或长上下文场景中的扩展，以优化推理阶段的参数效率。

• SAPE在更大模型（如70B）和更多任务上的表现证据不足。
• SAPE在不同适配器类型（如LoRA变体）上的通用性尚未明确。
• SAPE相对于其他共享策略（如跨层共享）在收敛速度上的优势缺乏直接比较。
• SAPE对训练稳定性及超参数敏感性（如组大小）的影响未详述。