AgentWeave：在推理前路由以提升多功能调用效率

AgentWeave 是一种预推理路由层，通过资格、需求、能力和路由信号，在调用大语言模型前缩小候选工具集。使用冻结的 BFCL 派生协议和 Hammer2.1-1.5b 模型测试，在 48 个任务上达到 12.5% 成功率，而基线为 0%。相比全部工具，输入 token 减少 61.7%，延迟降低 50.95%。

以往优化函数调用多靠改进模型或提示词，AgentWeave 提出在推理前先缩小候选工具集，对固定模型即可显著提升效果并大幅降低成本，为工具丰富的 LLM 应用提供新思路。

通过预路由层结合多种信号，构建受限且可见的行动空间，减少模型需要处理的 schemas 和候选，从而降低误导和计算负担。由于模型不变，改进源于候选集质量的提升，而非模型参数或推理算法的变化。

产品可使用该路由层减少提示词 token 和服务延迟，降低 API 成本并提升响应速度。但当前绝对成功率仍偏低，需谨慎评估实际生产环境的可靠性和性能。对于集成大量工具的产品，如开发平台或自动化助手，可考虑作为优化组件。

• 在工具调用服务中引入预路由层，缩小候选集以降低 token 消耗和延迟，适合工具数量多的场景。
• 针对特定垂直领域（如金融或医疗）定制路由信号，提升功能调用的准确性。
• 开源或提供该路由层作为服务，供开发者改进其现有函数的调用效率。

• 在更多模型和任务上的表现如何？官方 BFCL 排行如何？
• 实际应用中的端到端准确率提升幅度是否足够？
• 路由层的计算开销是否会影响整体性能？
• 如何适配动态变化的工具集？