监督微调与上下文学习：拥塞环境下LLM个性化的均衡分析

该论文分析了监督微调（SFT）与上下文学习（ICL）在LLM个性化中的权衡。研究发现两者在不同预训练覆盖率和信号噪声比下各自占优，但用户间的计算资源拥塞可能改变这种排序。平台同时提供两种方法可最大化利润，且行业数据表明提供双方法的平台比例从2021年的9.5%增至2025年的71.4%。

此前一般认为SFT个性化效果更优，但该研究揭示拥塞会改变优劣排序，且平台提供双方法反而能提升利润。这一发现挑战了传统认知，直接推动平台策略从“二选一”转向“双通道”服务。

ICL轻量但依赖预训练覆盖，SFT昂贵但适应性强。拥塞下用户选择会产生外部性：过多用户选择SFT会加剧资源竞争，降低所有人体验。均衡分析表明，优化预训练精度可缓解拥塞，但更广覆盖和更难任务可能反而增加拥塞。双方法并存允许用户按需选择，平台可通过定价捕获更多利润。

模型服务平台需同时支持SFT和ICL接口，并设计动态定价或配额来管理拥塞。用户在选择个性化方法时需评估预训练覆盖度和任务难度，避免因其他用户选择导致性能下降。研发方向应聚焦于混合调度算法和拥塞感知的资源配置。

• 开发混合个性化方案：自动判断任务是否适合ICL，当拥塞度高时引导用户使用ICL，降低SFT负载
• 设计拥塞感知定价：对SFT按实时计算负载动态收费，激励用户在高峰时段选择ICL
• 提供预训练覆盖评估工具：帮助用户快速判断当前任务是否已有足够预训练覆盖，从而选择最优方法

• 论文基于GPT-2和线性回归实验，在更大模型和复杂任务（如对话生成）中的结论是否一致？
• 平台同时提供两种方法的具体成本增量是多少？是否有最优定价模型？
• 拥塞阈值如何在实际系统中定量测量？是否有可部署的监控指标？
• 论文假设用户理性选择，但现实中用户可能缺乏足够信息做出最优决策，如何解决？