AlloBench：测量LLM代理的在线工具分配能力

AlloBench基准测试显示，Claude Haiku、Claude Opus、GPT-5.4-mini和GPT-5.6 Sol等前沿LLM代理在抽象文本分配任务中表现接近最优，但在代码脚本编写任务中无法转移该能力，且开源Qwen模型在抽象分配上泛化良好，脚本分配仍无改善，表明在线工具分配是当前模型的重要能力边界。

揭示了LLM在抽象推理与具体代码执行间的能力鸿沟：即使顶级模型能够执行理论上的最优工具分配，却无法将其策略迁移到实际的脚本编写场景。

工具创建存在固定成本，最优策略是生成少量高复用工具而非大量一次性工具。模型在抽象框架下有意识分配，但在脚本编写时因特定失效模式（如对评估代价缺失感知或编码逻辑干扰）而无法应用相同策略。

依赖LLM自动生成代码或工具的产品（如AI代码助手、自动化代理）需注意此能力限制：模型可能倾向于生成大量一次性脚本，降低工具复用效率，需额外机制辅助工具分配决策。

• 基于AlloBench评估结果，在产品中引入工具复用率监控，对低复用脚本自动触发优化重构。
• 开发专门工具分配模块（如规则或搜索策略），在脚本生成前或生成后辅助LLM筛选高复用工具。
• 在模型选型时参考AlloBench脚本分配得分，优先选择GPT-5.6 Sol等相对较优的模型以减轻能力短板影响。

• GPT-5.6 Sol仅在完全构造时失败，而其他模型更早失效，其具体机制是什么？
• 脚本任务中工具分配失败是否源于代码生成时的长上下文注意力不足或训练数据偏差？
• 是否存在提示工程策略（如显式说明固定预算和复用目标）能弥合抽象到脚本的迁移鸿沟？
• Qwen模型在抽象泛化后脚本无改进，是否意味着脚本分配需要不同的认知表征或训练范式？