OoO-Spec：乱序语义推测加速工具调用

论文提出 OoO-Spec 方法，通过 Qwen3-0.6B 副模型在请求到达时并行预测函数选择和参数槽，加速工具调用。在七个目标模型和三个基准测试中，所有 21 个组合均达最快速度，较自回归解码加速 2.46 倍至 5.34 倍，平均 3.89 倍，优于 ToolSpec 的 2.95 倍。

此前 ToolSpec 只能从草稿令牌和早期调用中获取信息，无法提出请求特有的参数值。OoO-Spec 通过并行预测缺失语义，显著提升工具调用速度，尤其在 Qwen3 系列上比 ToolSpec 平均提升 34.1%，且副模型无需针对目标模型训练，降低部署成本。

OoO-Spec 在请求到达时，用一个轻量副模型并行预测函数和所有参数槽，生成语义载荷，目标模型在解码时轮询并使用自身分词器重编码提示，但保持验证和提交权。副模型仅用 LoRA 训练一次，即可适用于多种目标模型，实现跨模型复用。

该技术可降低工具调用延迟，提升依赖 LLM 工具调用的产品（如智能助手、自动化工作流）响应速度。平均加速近 4 倍，可改善用户体验并减少计算资源占用，但需集成副模型和管理语义载荷，增加系统复杂度。

• 在 Qwen 系列模型的 API 服务中集成 OoO-Spec，提升工具调用响应速度，作为差异化卖点。
• 开发中间件，将 OoO-Spec 应用于多模型工具调用场景，降低端到端延迟。
• 基于 85 字节轻量语义载荷优化网络传输，适用于分布式部署。
• 针对依赖工具调用的智能体产品，提供性能优化方案，突出效率优势。

• OoO-Spec 在流式或 batch 解码场景下的表现如何？
• 副模型对长尾或不常见工具架构的泛化能力如何？
• 在真实生产环境中的端到端延迟改进是否与论文一致？
• 副模型的额外计算开销是否会影响整体吞吐量？