SGUID：为模型-技能协同进化挑选紧凑技能库

该论文指出，在 on-policy distillation 中，按语义相关性检索到的技能里不足 25% 能提供有用的蒸馏信号，单个技能的实际效用被此前工作忽略。作者提出 SGUID，只保留在训练中持续产生有效学习信号的技能。在 Olmo 和 Qwen 四个模型上，蒸馏 6 个精选技能的效果在三项上追平或超过全库蒸馏，第二轮再选 3 个技能后四项全部追平或超过，而全库规模最多大 11 倍。

此前技能蒸馏多依赖语义检索并默认每个技能都有价值，SGUID 表明大量技能其实是无效甚至有害信号。它把筛选标准从相关性改为训练中的实际效用，并以两轮实验显示模型与技能库可以稳定协同进化，而非一次性蒸馏。

SGUID 用技能条件策略作为教师进行 on-policy distillation，逐一考察每个技能是否在训练中持续产生有效学习信号，只保留合格者再蒸馏进模型。蒸馏后从更新模型的 rollout 中重新生成候选技能库，再筛选下一批要内化的技能，形成“筛选—蒸馏—重采样—再筛选”的闭环。

对自建技能库或提示库的团队，这说明技能数量不是越多越好，存储和检索成本可被大幅压缩。研发流程可加入技能效用评估环节，用少量模型迭代验证技能是否真的提升下游表现，并周期性从模型输出中重建候选技能集，避免无效技能长期残留。

• 在自有技能库上复现 SGUID 式筛选，比较精选技能与全库在固定评测集上的平均成绩与成本。
• 为技能库增加“训练效用”指标，取代单一语义相关性排序。
• 搭建自动化闭环：从模型 rollout 生成候选技能，筛选后蒸馏，再重采样迭代。
• 在 Qwen 或 Olmo 系列上先做小规模验证，再决定是否替换现有全库蒸馏流程。

• 摘要被截断，SGUID 具体如何量化“持续有效学习信号”尚不明确。
• 第二轮中 Qwen3-4B 未过滤技能导致的具体退化幅度未完整给出。
• 四个模型上的完整评测集和 avg@12 数值细节尚未披露。
• 该方法在非 Olmo、非 Qwen 模型家族上的迁移效果未知。