- 类型
- 论文
- 来源
- arXiv AI
- 发布
- 2026年9月21日 20:12
- 状态
- 单一信源
发生了什么
该论文将 FunctionGemma 270M-it 扩展到 Android 实际工作流,构建了约 9,500 条对话的合成数据集 MOBILEACTIONSEXTENDED,覆盖十五类设备控制,并用 TRL 监督微调。微调后在该数据集上端到端准确率从基座模型的 29.3%、Google Mobile-Actions 变体的 17.2% 提升至 76.5%;联合模型在 MOBILEACTIONSGOOGLE 上为 82.3%,低于 Google 专用模型的 90.3%,以 8 个百分点换取类别覆盖翻倍,并开源数据集、模型、训练评估流程与 Android demo。
为什么重要
此前端侧函数调用资源多偏向 Web API 或狭窄的移动动作集合,缺少覆盖 Android 多类设备控制的公开数据与可复现流程。该工作给出了合成数据、微调方法和评估管线,把 270M 小模型的端到端准确率从不足三成提升到七成以上,并公开了取舍数据,使端侧助手方案的可行性可以被独立验证。
底层逻辑
作者用 schema 校验的合成对话覆盖十五类设备控制,弥补真实移动指令数据稀缺;采用 completion-only loss 的监督微调,让损失只作用于模型输出部分,适配函数调用这类结构化生成任务。联合训练则在扩展类别与既有 Mobile-Actions 能力之间形成权衡:覆盖更多类别会牺牲对原数据集的精度。
产品与商业机会
对做端侧助手的产品团队,这表明 270M 级模型即可在本地处理消息、通话、相机、亮度、手电筒等控制,潜在降低对云端推理的依赖,改善延迟与隐私。工程上可直接复用其数据集与训练评估流程;但若追求单一指令集的最高准确率,仍需在覆盖广度与精度之间做显式取舍。
- 在 Android 端侧助手中先接入该开源微调模型,覆盖消息、相机、亮度、手电筒等高频设备控制动作。
- 以 MOBILEACTIONSEXTENDED 的 schema 为模板,构建自有设备控制数据集,并按 completion-only loss 微调小模型。
- 针对精度敏感场景保留 Google Mobile-Actions 专用模型,扩展类别交由联合模型或路由策略处理。
- 复用其可复现训练评估管线与 Android demo,缩短端侧函数调用原型的验证周期。
仍待确认
- 合成数据集与真实用户指令分布之间的差距有多大,是否会影响线上表现?
- 76.5% 与 82.3% 的准确率是在何种评测口径和边界条件下测得的?
- 联合模型的 8 个百分点精度损失能否通过更大模型或更多数据弥补?
- 端侧部署的实际延迟、内存占用和隐私收益是否有量化数据支持?