不确定性门控探索噪声抑制流匹配 VLA 策略在线 RL 微调中的任务崩溃

该论文在 LIBERO-10 上以 450M 参数的 SmolVLA 策略、PPO 与随机采样、匹配的小算力预算，比较三种探索噪声策略。结果显示：固定噪声在三个随机种子中有两个出现任务崩溃，学习式噪声在测到第 200 次迭代的每个种子均崩溃，而不确定性门控控制器在三个种子中均未崩溃；参数位移显示其动作专家仍在持续变化，但该预算下没有任何一组超过行为克隆基线。

此前在线 RL 微调常被视为部署后持续提升能力的路径，但该实验显示聚合指标健康时单个任务可能已被破坏。门控噪声在不使用任务标签和回合边界的前提下避免了这种任务崩溃，为持续学习的稳定性提供了可对照的初步证据。

在线 RL 继续更新时，固定或学习式噪声可能让策略过度偏离已掌握的任务行为，导致任务级能力被覆盖，而总体回报仍可维持。不确定性门控控制器利用与任务无关的新颖度和胜任度信号，把探索在不同任务流之间重新分配，从而在保持动作专家持续更新的同时抑制局部能力退化。

对做机器人 VLA 部署的团队，评估指标不能只看聚合回报，需要按任务拆分监控崩溃风险；探索噪声的调度方式应作为可调组件纳入微调流程，而非固定超参。由于该预算下未超越行为克隆基线，短期不宜据此替换现有微调方案。

• 在机器人 VLA 在线微调流程中加入按任务拆分的崩溃监测指标，替代单一聚合回报看板。
• 复现不确定性门控控制器，验证其在自有任务集与更大算力预算下能否保持任务不退化。
• 把探索噪声调度抽成可配置模块，便于与固定噪声、学习式噪声做 A/B 对照实验。

• 门控控制器在更大算力预算或更长训练步数下是否仍能避免任务崩溃？
• 控制器跨状态与跨时间的自适应各自贡献多少，证据未做拆分。
• 该方法能否迁移到 LIBERO-10 以外的任务集与其他 VLA 模型？
• bfloat16 且无 fp32 主副本的训练设置是否影响结论，尚未被验证。