PG-SFT：离线 agent 微调中能力获取与保留的平衡

一篇 arXiv 论文研究离线 agent 轨迹的监督微调（SFT）中能力获取与保留的权衡。作者对比多种基线后发现，标准 SFT 会提升目标基准但拉低多项非目标基准，而用 KL 惩罚或限制更新幅度约束分布漂移并不能阻止这种退化。为此提出 Privilege-Guided SFT（PG-SFT），用轨迹的轮级信息增益调节监督强度。

此前普遍把 SFT 视为训练专用工具调用 agent 的标准做法，默认锚定基座行为即可避免能力退化。该工作表明，仅约束分布漂移或更新幅度并无效，监督应当在何处、以多大强度偏离基座行为才是关键，这改变了微调策略的设计关注点。

标准 SFT 让模型逐 token 模仿推理与动作，会整体改变输出分布，从而波及通用推理、工具调用、代码生成等非目标任务。按轨迹的轮级信息增益来衡量监督价值，可对信息量高的部分加强监督、其余部分减弱监督，从而在获得目标任务能力的同时减少分布漂移和广泛能力退化，代价是目标任务性能略有下降。

对训练专用 agent 的团队而言，PG-SFT 提供了一种可评估的微调替代方案：以轻微降低目标任务表现为代价，换取基座通用能力的更好保留。这会影响微调数据筛选、监督信号设计和评测口径，需要在目标基准与非目标基准之间同时监控，而非只看单一指标。

• 在自研 agent 微调流程中试点 PG-SFT，对照标准 SFT 同时评测目标与非目标基准
• 将轮级信息增益作为数据筛选或加权信号，用于构建微调数据管线
• 为非目标能力退化建立回归评测集，纳入 agent 微调上线前的检查项

• PG-SFT 在不同基座模型、不同 agent 任务上的效果是否一致，证据未覆盖
• 目标任务的性能下降幅度具体多大，摘要未给出量化结果
• 轮级信息增益在实际训练中的计算成本与工程复杂度尚不明确
• 该方法是否能扩展到 RLHF 或多轮在线训练场景，尚无证据