EgoVoice：从第一人称多模态流中主动提供语音辅助

研究者提出 EgoVoice 框架，用于训练和评估能在第一人称视频与音频流中主动发声的助手。团队基于 HoloAssist 中真人导师的录制视频，借助音源分离与语音重合成构造干净音频流，并把每段视频会话转成模型需逐时刻决定沉默或给出语音指导的格式，再用直接偏好优化改进其主动介入行为。实验显示现有系统很少产生时机合适、内容有意义的主动介入，而 EgoVoice 在介入时机、内容相关性和人类偏好上均优于零样本基线。

此前主动视频助手、语音对话系统和第一人称任务理解各自推进，但没有系统同时处理“何时开口”与“说什么”这一联合问题。该工作把两个决策统一到连续第一人称流中，并给出可训练、可评估的数据构造与偏好优化路径，使主动语音辅助从概念讨论变为可对比测量的任务。

机制上，框架先用音源分离与语音重合成把真实教学视频转为干净音频，再将连续会话离散为每个时刻的沉默或发声决策，使模型学会介入时机；随后用全模态大模型微调获得基础能力，并以直接偏好优化进一步调整主动介入行为，从而在时机、内容和人类偏好上获得改进。

对可穿戴 AR 与第一人称助手而言，这意味着产品评估指标需要加入介入时机和内容相关性，而非只看回答质量；研发上需构建带决策标注的第一人称多模态数据，并考虑用偏好优化调整主动行为。成本上，音源分离与语音重合成成为数据准备的必要环节，可能影响训练数据管线的复杂度。

• 在 AR 眼镜或可穿戴设备的辅助应用中，加入“是否开口”的独立决策模块，减少无效打扰。
• 面向远程指导、维修和教学场景，构建按时刻标注沉默或发言的第一人称多模态数据集。
• 将直接偏好优化用于调整助手的主动介入风格，以人类偏好作为上线评估指标。
• 用音源分离与语音重合成处理真实教学录制，降低第一人称音频数据的噪声与版权风险。

• EgoVoice 在真实可穿戴设备上的端侧推理延迟和功耗是否可接受，证据未说明。
• 该框架依赖 HoloAssist 真人导师数据，迁移到其他任务或语言时效果是否保持，尚不清楚。
• 论文未提供具体量化指标和对比数值，改进幅度无法独立核验。
• 直接偏好优化所需的人类偏好数据规模与标注成本未被披露。