Eye, Robot：用 VLM 引导的 Transformer-VAE 学习表情化注视动态

arXiv 论文提出一种名为 RGT 的 Realistic Gaze Transformer，用 VLM 异步选择场景注视目标，另一感知模块维持注视，RGT 生成目标条件下的头眼运动。RGT 为 Transformer-VAE，在无标记人体录像上训练并重定向到机器人 11 自由度关节空间，经自监督预训练和自回归微调；推理时以四维双眼轨迹驱动颈部与眼部协调运动，并由眨眼预测器触发眼睑模板。在两秒基准中，所有控制器使用相同真值目标，RGT-Base 取得最低的七关节整体 MSE，并完成物理演示。

以往人形机器人注视多依赖固定追踪规则，难以刻画人类注视中眼、头、眼睑耦合的时间结构。该工作把目标选择、注视维持和运动生成拆成异步模块，并首次在机器人关节空间验证注视动态的运动学保真度与实时推理，为机器人非语言交互提供可复用的技术路线。

机制上，系统将“看哪里”与“如何看过去”解耦：VLM 负责开放词汇的场景指代选择，反应式感知模块保持当前注视，RGT 则学习目标条件下的运动分布。RGT 用自监督预训练编码全头历史，再用自回归微调让模型适应自身预测误差，推理时用低维双眼轨迹作为条件，协调颈部与眼部，眨眼则单独由辅助预测器触发模板。

对人形机器人或虚拟形象研发，该方案提供了一条可落地的注视控制管线：VLM 负责语义目标、轻量感知负责稳定、生成模型负责自然运动，可降低对固定规则和大量手工动画的依赖。产品侧可优先在需要长时间自然注视的交互场景验证实时推理与关节控制，但自然度与开放词汇选择精度尚未通过受控评测。

• 在客服或导览人形机器人上搭建注视模块原型，接入 VLM 目标选择与 RGT 运动生成，先验证实时性与七关节轨迹稳定性。
• 将无标记人体录像重定向到目标机器人关节空间，构建注视动态训练数据管线，减少手工动画与动作捕捉成本。
• 开发可独立替换的眨眼与眼睑控制组件，作为现有机器人头部控制栈的附加模块接入。
• 面向虚拟人或远程呈现场景，复用四维双眼轨迹条件接口，将 RGT 输出映射到屏幕化头像驱动。

• RGT 与基线控制器的完整对比结果和统计显著性未在证据中给出。
• 开放词汇目标选择的准确率尚未经过受控评测。
• 感知自然度是否有用户研究支撑，证据未说明。
• 推理延迟、计算资源占用和多目标切换等工程指标未披露。