R^3-Bench：大语言模型在共享预算下的资源理性推理表现欠佳

新基准 R^3-Bench 在共享预算下评估六个问题套件，涵盖数学、竞赛编程和抽象推理，涉及无工具和智能体设置。对六个模型在72个主表格单元中的测试显示，离线经验预言机的平均表现全部不低于竞赛平均值，且在71个单元严格更高。在中等无工具压力下，均等分配回放对四个模型的竞赛表现更优。轨迹诊断发现策略更新有限且失败模式与压力相关。在强智能体压力下，固定调度器在九个单元中的六个超过竞赛平均值，但无单一策略在所有领域占优。结果揭示论证能力与共享预算实现之间存在持续差距。

此基准首次校准共享预算下的套件性能与同一模型单问题能力曲线，揭示LLM在资源分配上的系统性弱点，此前多数基准仅使用独立任务预算，未考虑实际应用中的共享计算资源。

R^3-Bench通过匹配单问题响应曲线定义经验预言机，比较不同分配策略下的实际成功数。结果显示模型在共享预算下未能有效更新策略，导致资源分配次优，尤其在压力增加时失败模式变化，表明模型缺乏资源理性推理能力。

对产品而言，依赖LLM执行多步任务或智能体流程时，共享算力分配不当可能降低整体任务成功率，增加推理成本，尤其在多任务并发场景下需重新设计资源调度策略。

• 开发自适应预算分配系统，根据任务难度动态调整推理资源。
• 在LLM推理管线中引入跨任务资源优化机制，提升整体成功率。
• 设计压力测试套件，评估模型在共享预算下的鲁棒性。
• 探索基于经验预言机的调度策略，适配不同领域任务。

• 模型在共享预算下的弱点是否源于训练数据或架构？
• 是否可通过微调提升模型的资源理性推理能力？
• 智能体设置下策略更新受限的具体原因是什么？
• 固定调度器能否在更广泛的域中保持优势？