StepReflect：面向移动 GUI 智能体的结构化 UI 转换反射方法

StepReflect 是一种针对移动端 GUI 智能体的结构化 UI 状态转换反射方法，将每个步骤的反射建模为监督式结构化预测。它在 AndroidWorld 上达到 82.16% 的转换准确率，超过零样本 GPT-5.2 11.83 个百分点；在多个测试环境中，多数配置下任务成功率更高，且降低了付费 API 使用成本。

此前移动 GUI 智能体的动作反射依赖开放式多模态推理，成本高且与 GUI 状态转换的结构化特性不匹配。StepReflect 提出结构化预测方案，以更小的 8B 模型实现更高准确率，并显著降低 API 费用，为长程任务提供了可本地部署的替代方案。

StepReflect 将 GUI 反射问题转化为基于显式转换规范和成对视觉证据的监督式结构化预测，通过分阶段训练（监督微调、师生蒸馏、偏好和奖励优化）提升性能。其 8B 模型在离线测试中超越零样本 GPT-5.2，在线测试中多数配置下任务成功率更高，表明结构化归纳偏好在 GUI 反射任务中优于通用大模型的开放式推理。

对移动端自动化产品，StepReflect 可替代高价大模型 API 实现低成本的 GUI 反射，降低长程任务的运营成本。其本地部署能力可提升响应速度和数据隐私，但需注意不同智能体配置下效果存在波动，需针对性适配。

• 集成 StepReflect 作为 GUI 智能体的默认反射模块，替代付费 GPT 反射，降低 API 成本。
• 基于 StepReflect 训练专用于特定 App 或业务场景的微调模型，提升转换准确率。
• 开发本地化部署工具，允许企业私有化部署 GUI 智能体以保障数据安全。

• StepReflect 在跨不同设备屏幕尺寸和操作系统上的泛化能力未被验证。
• 在第四个代理配置中，任务成功率比 GPT-5.2 Reflection Agent 低一个任务的具体原因未说明。
• 虽然降低了 API 费用，但本地推理所需的计算资源消耗未被量化。