UpgradeBench：面向微调大模型专家升级的决策中心基准

研究团队提出UpgradeBench，一个评估微调后LLM专家模型升级的纵向基准，覆盖Qwen四次连续发布及OLMo检查点。基准关注三个问题：新检查点是否提升固定配方重训性能、专用资产能否跨版本迁移、可用恢复资源。结果显示升级收益因任务而异，直接复制适配器在OLMo上从高保留率降至零，教师重新标注可恢复目标基础模型。

此前迁移研究仅评估孤立模型对，未涉及真实发布序列中的多种迁移选择。UpgradeBench首次系统比较保留、移植、刷新和重训四种策略，并引入连续发布和多任务视角，为组织在开源模型频繁迭代下的升级决策提供实证依据。

UpgradeBench通过固定配方重训、直接复制适配器、教师重新标注等方法，在连续检查点序列上测量保留率、迁移增益和恢复效果。其机制在于：继续预训练距离影响适配器可移植性；任务类型影响升级可持续性；数据保留情况下可避免新标注。

对使用开源模型的企业，该基准揭示不同任务的升级收益差异和适配器可移植性衰减规律，影响模型升级规划、数据资产管理及计算预算分配。需权衡重训成本与性能提升，并考虑数据保留的价值。

• 将UpgradeBench的决策流程集成到模型管理平台，自动评估新基座是否迁移现有适配器或触发重训。
• 开发针对文本到SQL等低耐久性任务的针对性迁移工具包，减少频繁重训成本。
• 利用教师重新标注方法，在无新标注数据下快速恢复新基座专家，降低数据标注支出。
• 建立发布序列跟踪机制，记录每次升级的策略和效果，形成组织内部的迁移决策知识库。

• 文中提及的“模拟固定决策策略在33个升级片段上平均质量提升0.37pp”是否包含完整统计显著性检验？
• UpgradeBench是否覆盖除Qwen和OLMo之外的其他模型家族？
• 教师重新标注的计算节省在何种条件下不成立？
• 保留率降至零的具体任务和模型规模组合是否已详细披露？