LLM拆分联邦微调中的深度-性能困境研究

一项关于大型语言模型（LLM）的拆分联邦微调（SFF）研究揭示了深度-性能困境：模型划分越深，系统吞吐量和隐私性越好，但微调质量会急剧下降甚至崩塌。研究在GPT-2至Llama-3-8B四种模型规模上验证了该现象，并评估了AVG、STACK、SVD、FREEZE等聚合方法，发现它们无法缓解拆分架构特有的问题。机制上，Transformer的近等距拓扑导致聚合噪声传播不减，最终引发服务端的注意力崩塌。

此前普遍认为划分深度对模型效用无影响，但该研究挑战了这一假设，指出最大化系统效率的配置恰恰导致微调质量崩塌。这对资源受限设备上的LLM分布式微调方案设计具有重要警示意义，可能改变联邦学习架构选择与优化方向。

SFF将模型按深度拆分，客户端负责浅层，服务器负责深层。深层划分增加客户端计算或保护隐私，但聚合噪声在Transformer近等距拓扑中传播时不衰减，最终在服务器端引发注意力崩塌，导致微调性能平台期或崩溃。现有聚合方法设计未考虑拆分特有噪声，故失效。

对于采用拆分联邦微调的产品，增大划分深度可能提升系统效率，但会损害模型质量，导致微调效果不达标。研发团队需重新评估深度配置，不能简单追求系统指标。现有聚合方法需针对拆分架构优化，否则影响联邦学习产品的实用性和用户体验。

• 为拆分联邦微调设计新的聚合算法，以抑制注意力崩塌，可申请专利或开源。
• 开发自动深度配置工具，平衡系统效率与模型质量，供联邦学习平台使用。
• 基于近等距拓扑理论，研发噪声缓解层，嵌入微调流程，减少性能损失。

• 注意力崩塌是否可通过调整聚合频率或噪声阈值来避免？
• 该结论是否适用于更大规模模型（如超过8B参数）？
• 其他非Transformer架构（如Mamba）是否也存在类似深度-性能困境？