PATS：面向智能体强化学习的策略感知训练支架

PATS是一种以策略为中心的强化学习训练框架，它将技能重构为动态训练支架。该方法将最新策略的rollout分组转化为证据卡，并通过任务特定评估调整后续上下文，为弱策略提供具体指导。随着策略改进，冗余上下文被修订或移除，以减少对显式指导的依赖。在ALFWorld和WebShop上，PATS比强基线提升最多18.6%；在7个搜索增强QA基准上，使用比基线少32.1%的提示token仍保持竞争力。

此前方法以技能为中心（优化、过滤或内化技能），而PATS转为以策略为中心，动态调整训练时的上下文支持。它随策略改进逐步撤销冗余指导，既帮助弱策略完成困难任务，又避免过度依赖外部支架，实现了更高效的探索与策略优化。

PATS从最新策略的rollout分组生成证据卡，利用任务特定评估决定哪些上下文应保留、变更或移除。弱策略阶段，提供具体指导帮助其完成挑战任务；策略改进后，撤销冗余上下文以降低显式依赖，同时保留有益的rollout变异性。策略使用环境奖励通过标准RLVR优化，部署时丢弃训练支架，只在训练阶段发挥动态适配作用。

PATS可降低LLM agent训练中的提示token消耗（约32.1%），并提升长周期任务的成功率（如ALFWorld和WebShop上最多18.6%）。对研发团队而言，这意味着更低的训练成本和更快的策略迭代；对产品而言，有望在搜索增强问答等场景中实现同等性能下更经济的推理。

• 开发基于PATS的LLM agent训练平台，提供动态上下文调度服务，降低API调用成本。
• 为需要长周期任务完成的客服agent或研究助手，集成PATS训练流程以提升成功率。
• 将PATS作为SaaS服务提供给AI agent初创公司，按训练token节约量收费。
• 在搜索增强QA产品中应用PATS的上下文优化策略，减少prompt长度同时保持回答质量。

• PATS在机器人或其他连续控制领域的RL agent上是否同样有效？
• 训练支架在部署时被丢弃，是否意味着所有任务场景均不需要运行时适配？
• 证据中的提升幅度是否在独立复现中保持一致？
• PATS对策略的初始弱化程度有无限制，是否适用于极端稀疏奖励环境？