MobilePA-Bench：面向复杂真实世界任务的移动规划代理基准测试

MobilePA-Bench是一个用于评估移动端规划代理的交互式、有状态、工具中心的基准测试。它在可执行沙箱中运行，覆盖13个功能域和212个真实移动工具，从子代理协作、记忆使用和技能使用三个高级维度评估中央规划代理。实验表明，前沿大语言模型在移动场景下表现不可靠，在严格的工具顺序、权限限制和意外运行时错误下性能急剧下降。

现有移动代理基准要么只测试表面屏幕操作，忽略后台工具使用和长程规划，要么依赖离线API匹配，脱离真实运行时约束。MobilePA-Bench填补了这一空白，提供了可执行沙箱和结构化反馈，能评估更接近真实世界的工具调用和规划能力。其发现（前沿模型在移动环境中不可靠）对移动AI代理的发展有警示意义。

MobilePA-Bench通过维护实时应用数据库并返回结构化反馈的沙箱环境，使基准测试具有交互性和状态性。它通过分解复杂任务、委派子代理、记忆回忆和技能调用等机制模拟真实移动助手场景，严苛的工具顺序和权限限制暴露了现有模型的脆弱性，从而提供更可靠的评估。

该基准测试可用于评估和比较移动端AI代理产品的规划与工具调用能力，帮助研发团队识别模型在真实场景中的不足，从而优化模型在权限管理、错误恢复和长程规划方面的表现。但其对具体产品开发和成本的影响尚不明确，且需验证基准测试与真实用户场景的关联度。

• 研发团队可利用MobilePA-Bench评估现有移动AI代理，定位薄弱环节如工具顺序和权限处理，改进模型。
• 基于基准测试结果，开发针对移动代理的记忆管理功能，提升对用户偏好和历史的利用。
• 利用基准测试验证子代理协作架构，优化多代理任务分解与委派效率。
• 将基准测试集成至CI/CD流程，持续监控移动代理能力演进，防止回归。

• MobilePA-Bench的测试集是否公开，以及其规模能否代表真实世界任务分布？
• 基准测试的评分标准是否经过验证，与人类评估的相关性如何？
• 在移动场景中的性能下降，是否在特定模型或任务类型上有共性？
• 该基准测试是否覆盖多语言和不同文化背景的用户场景？