观测校准自蒸馏的代理强化学习

本文提出Observation-Calibrated Self-Distillation (OCSD)，一种用于训练大型语言模型代理的自蒸馏方法。OCSD通过对比全观测与观测消融的两种重放视图，消除重放脚手架带来的分数偏移，在ALFWorld、WebShop和Search-QA基准上，使用三种规模的Qwen3模型，表现优于强基线。代码已公开。

此前OPSD方法在利用未来观测进行token级奖励重标定时，存在混杂干扰，导致模型难以准确归因。OCSD通过结构匹配的对比视图，分离观测信息与重放脚手架的影响，提升了奖励塑形的准确性，从而在多个智能体任务上取得更好性能。

OCSD构建两个仅在未来观测有无上不同的重放视图，计算观测残差，以此调整高不确定步骤的token级GRPO更新，同时保留轨迹级更新方向。这使得token级监督信号更纯粹地反映局部环境反馈，减少因重放脚手架造成的分数偏移，从而提升学习效率和最终性能。

该方法可提高基于LLM的智能代理（如网页操作、搜索问答）的任务成功率，减少训练中对轨迹级奖励的依赖，可能降低人工奖励设计成本。代码开源，便于集成到现有训练流程，缩短从研究到产品化的周期。

• 在客服对话或任务代理中集成OCSD训练，提升长链路任务完成率。
• 将OCSD作为可选模块，推送给强化学习训练平台的用户，增强平台能力。
• 基于OCSD开源代码，开发针对垂直领域（如医疗、金融）的微调方案。
• 在内部评估OCSD对模型采样效率的影响，优化推理时的置信度量度。

• OCSD在非transformer架构或更大规模模型上的有效性未知。
• 观测残差的计算是否会引入额外训练成本，未见量化数据。
• OCSD对超参数（如高不确定阈值）的敏感性未公开。
• 实际环境中未来观测的预测误差如何影响效果仍待验证。