PROGRESS：覆盖引导强化学习训练搜索增强型LLM智能体

论文提出PROGRESS方法，利用教师模型指导的覆盖奖励，在R1式训练框架中显式塑造搜索增强型LLM智能体的查询分解行为，无需密集过程级监督。实验表明，覆盖引导的强化学习能提升整体任务性能，凸显了显式监督搜索策略的重要性。

此前训练搜索增强型LLM智能体主要依赖结果级奖励，对搜索行为监督不足。PROGRESS通过教师模型提供的覆盖奖励，在查询分解层面提供轻量级指导，不依赖密集过程监督，有望提升复杂查询处理能力。

PROGRESS使用冻结教师模型将复杂查询分解为关键搜索查询，这些查询用于引导策略模型的搜索行为，并通过覆盖奖励显式激励查询分解的准确性。该机制整合到R1式训练框架中，在不需要过程级监督的情况下强化搜索策略。

对于搜索增强型LLM产品，PROGRESS可能改善对复杂用户查询的处理，提升搜索相关性和任务成功率，同时降低对人工过程标注的依赖，减少训练成本。但具体影响程度需结合产品类型评估。

• 在RAG产品中集成PROGRESS方法，提升复杂多跳问题的回答准确率。
• 研发基于教师模型的轻量级查询分解模块，降低对人工标注的依赖。
• 评估PROGRESS在搜索广告或智能客服场景下的检索效率提升。

• PROGRESS在非英语或领域特定场景中的泛化能力如何？
• 覆盖奖励的计算开销是否会影响大规模训练效率？
• 该方法的收益相对于现有RLHF基线有多大？