可指令代理人的规划与控制解耦

一种名为Instruct-to-Act的系统将预训练的视觉语言模型（VLM）规划器与世界模型控制器结合，通过指令重标注和行为克隆训练，使控制器能遵循高层文本指令进行高频控制。在七个环境中评估，该方法优于仅控制器和直接VLM动作生成，且可与强基线竞争。

此前VLM虽擅长生成计划但难以执行，而世界模型控制器快速但缺乏任务指导。该研究将两者解耦结合，使系统兼具高层理解和快速控制，并支持直接替换不同VLM规划器而无需重新训练，提升了系统的灵活性和适应性。

VLM规划器负责生成稀疏、高层的文本指令，世界模型控制器根据这些指令在高频下自主执行动作。通过用合成指令对控制器策略片段重新标注，并联合优化行为克隆目标，使控制器具备语言可指导性，从而将语言理解与运动控制分离，减少耦合复杂度。

对于产品研发，此方法可降低训练成本，因为控制器可复用不同VLM，减少重复训练。同时提升系统响应速度，因为控制器高频运行，而规划器低频工作。需注意，训练过程中需要额外的指令重标注和联合优化，可能增加初始开发工作量。

• 开发支持语言指令的机器人控制API，允许用户通过高层描述切换不同VLM策略
• 将Instruct-to-Act应用于游戏NPC或虚拟代理，提升其根据玩家指令执行多步任务的能力
• 构建低延迟交互系统，利用世界模型控制器作为实时响应层，VLM作为后台规划器
• 在现有VLM产品中集成控制器，使模型不仅能规划和对话，还能输出可执行动作序列

• 证据未说明训练数据规模、计算资源及训练时长，难以评估工程成本
• 未提供在非具身或真实世界环境中的验证结果，未知域外泛化能力
• 未提及与状态反馈的闭环机制，可能在高动态环境中存在限制
• 未说明指令的歧义或多样性对性能的影响程度