EcoAgent-Bench：评估预算约束下 LLM 代理的经济决策能力

arXiv 发布论文介绍 EcoAgent-Bench，一个评估 LLM 代理在预算约束下经济决策的基准。其含 304 个真实衍生任务，涵盖四种决策类型。评估七个 LLM 代理与四个脚本控制，发现工具 API 代理的微观严格成功率仅 3.9-24.0%，经济一致性最多 7.3%，表明完成任务与经济行动选择是不同属性。

此前代理基准主要衡量任务完成率，将资源消耗作为辅助指标。EcoAgent-Bench 将资源使用纳入任务本身，要求代理在明确预算下选择行动，暴露了现有代理在成本意识上的不足，为开发更高效、节约成本的 AI 代理提供了评估方法。

基准设置每个任务的定价行动和明确预算，并测试四种决策：避免不必要的升级、本地证据不足时升级、选择模型等级、在无支撑前提下停止。通过经济一致性分数衡量在升级导向和节省导向任务上的最差表现，揭示策略偏差。

对依赖 LLM API 的产品，开发人员可使用该基准测试代理的成本效率，避免过度消耗预算；有助于优化模型选择、升级策略，降低成本；但需注意当前代理在此类任务上表现不佳，可能需要调整产品设计或进行专门训练。

• 开发成本感知的代理调度器，根据任务难度和预算动态选择模型或工具
• 构建代理的预算监控与预警机制，在超出预算前自动降级或停止
• 利用 EcoAgent-Bench 任务集微调代理，提升其在节省场景的成功率

• 该基准是否能代表真实业务场景中的预算约束？
• 代理在基准上表现不佳是否可通过提示优化改善？
• GPT-5.4 在预算扫描中升级率变化很小，是否表明模型固有限制？