卡尔曼滤波与课程学习结合：自适应强化学习微调的高效动态提示选择

arXiv 论文提出 Kalman-Guided Prompt Selection (KGPS) 方法，用于强化学习微调中的动态提示选择。KGPS 将提示难度估计建模为线性高斯状态空间问题，利用卡尔曼滤波器追踪难度变化，无需额外采样。在数学、规划和几何推理基准测试中，该方法提升了最终准确率和采样效率。

此前在线提示选择方法在评估准确性和计算成本之间存在权衡，且难以应对训练中不断变化的提示难度。KGPS 将问题重新定义为动态状态估计，实现了自适应的难度选择，无需额外采样，为 LLM 强化学习微调提供更高效的新方案。

KGPS 在 logit 空间中用线性高斯状态空间模型刻画每个提示的潜在成功率，过程噪声与策略更新幅度耦合，使得策略变化较大时不确定性增加。卡尔曼滤波器维持校准的高斯后验，选择提示时最大化后验期望训练效用，偏好中等难度提示，同时自然重访不确定的提示，从而适应策略漂移，且无需额外采样。

对于依赖 RL 微调提升推理能力的产品（如数学解题、规划助手），KGPS 可直接降低采样成本，提升微调效率，并可能带来更好的最终模型性能。团队无需额外收集数据，即可在现有训练流程中应用该方法。

• 在现有 RL 微调流程中集成 KGPS 提示选择模块，降低采样成本并提升模型微调效果。
• 基于 KGPS 开发训练工具或服务，为内部或客户 LLM 微调提供更高效的提示管理。
• 将 KGPS 应用于特定领域（如数学、规划）的模型微调，以验证其提升效果并形成案例。
• 与现有课程学习或主动学习策略结合，探索更强自适应的提示选择框架。

• KGPS 在非数学、规划或几何推理领域（如代码生成）的效果是否一致？
• KGPS 在不同 RL 算法上的提升幅度是否稳定，是否存在不适用的情况？
• KGPS 的提示选择机制是否引入额外的超参数调优成本，能否自动化？
• 论文中未提供与现有方法在相同计算预算下的详细对比，实际效率提升有待验证。