用自生成控制数据微调 VLA 模型以实现多任务操作

arXiv 发布论文提出一种针对视觉-语言-动作（VLA）模型的自监督微调方法。该方法利用零样本 VLA 在线生成的交互回放作为额外训练数据，在目标机器人上微调，以同时保留原有指令遵循能力、继承零样本模型的先验任务，并提升学习新技能的数据效率。实验在真实 ALOHA 机器人和 RoboTwin 模拟基准上进行，验证了多任务泛化效果。

此前在硬件配置不匹配时，VLA 模型性能大幅下降，而微调虽能提升目标任务表现，却会损失原有指令遵循能力。该方法通过自监督生成数据，既避免了性能衰减，又改善了新技能学习效率，为多任务机器人操作提供更稳健的微调方案。

方法是利用零样本 VLA 在目标机器人上在线生成交互回放，这些回放数据覆盖了原有任务和通用指令行为，作为微调时的额外训练样本，可帮助模型在适配新硬件的同时保留行为先验，避免灾难性遗忘，并通过专家数据补充新技能，从而提升多任务策略的泛化性。

对机器人产品研发而言，可降低更换硬件后重新采集专家数据的高成本，缩短多场景适配周期，提升模型在目标机器人上的指令遵循与多任务执行能力，改善用户体验。但实际效果依赖生成数据的质量，需进一步验证。

• 开发面向仓库分拣场景的机器人操作模型，利用该微调方法减少新硬件适配时的专家数据采集成本。
• 将该方法与现有 VLA 产品集成，提供一键式微调工具包，降低客户部署门槛。
• 在 RoboTwin 模拟基准上构建标准化评测流程，作为产品上线前的通用性验证指标。
• 结合 ALOHA 硬件平台，为实验室自动化场景提供低成本多任务操作解决方案。

• 论文尚未提供生成回放数据的具体质量评估方法，是否会影响模型在真实场景的可靠性未知。
• 该方法在除 ALOHA 外的其他机械硬件上的普适性尚未证实。
• 自监督生成数据与专家数据的最佳配比是否影响最终性能，证据未给出。
• 该方法的计算成本（如在线生成回放所需的时间与算力）未在摘要中提及。