- 类型
- 论文
- 来源
- arXiv AI
- 发布
- 2026年9月24日 17:30
- 状态
- 单一信源
发生了什么
arXiv 论文 Jev-Mobile 提出将移动端 GUI agent 的 VLM 规划与动作执行解耦:VLM 只负责低频设定局部目标,可访问性树提供结构化动作空间,由快速类型化决策模型 Jev 高频选择具体动作。在 AndroidWorld 全量任务上,Jev-Mobile 任务成功率为 79%,SeeAct-V 为 78%,逐步调用 VLM 的基线为 84%;在成功轨迹中,端到端平均执行时间较该基线降低 32.7%,模型 API 平均成本降低 73.4%。
为什么重要
此前多数移动 GUI agent 在几乎每一步交互都同时依赖 VLM 做规划与动作定位,延迟和模型服务成本高。该工作把 VLM 调用降为低频规划,将高频动作交给轻量执行模型,在成功率接近或略低于强基线的前提下大幅降低成本与耗时,提供了另一条效率取舍路径。
底层逻辑
机制分三层:VLM 只输出局部目标,不直接产出每一步动作;可访问性树把界面元素转成结构化可执行动作空间,限制并规整候选动作;Jev 作为快速类型化决策模型在该空间内反复选动作。由于一次 VLM 决策可覆盖多个 GUI 动作,昂贵推理次数被摊薄,同时保留逐步自适应交互能力。
产品与商业机会
对 GUI 自动化产品的直接影响是成本结构变化:模型 API 成本可降约七成、端到端耗时降约三成,使长时间运行的移动端 agent 更可行。研发上需要维护可访问性树到动作空间的映射,并训练或接入轻量执行模型;代价是成功率可能低于纯 VLM 逐步方案。
- 在移动端自动化测试或运营工具中,用可访问性树构建结构化动作空间,降低对 VLM 的逐步依赖。
- 按低频规划加高频执行的架构拆分 agent 服务,将 VLM 调用集中到目标设定环节以控制 API 账单。
- 针对固定业务流程先落地轻量执行模型,再评估成功率损失是否可接受。
- 关注可访问性树缺失或不完整的界面场景,评估该架构的适用边界。
仍待确认
- Jev 模型的参数规模、训练数据与推理硬件要求未在证据中说明。
- 32.7% 时间与 73.4% 成本下降只统计成功轨迹,失败轨迹的开销未披露。
- 可访问性树不完整或游戏类界面上是否仍能达到 79% 成功率尚不明确。
- 该结果是否在 AndroidWorld 之外的真实应用与设备上复现,证据未涉及。