模型越小越绿色吗？为 Agentic AI 合理选型语言模型

一篇 arXiv 论文指出，AI agent 的多步任务通常按单次调用比较模型，容易产生误导；由于任务要求每一步都成功，单步可靠性的微小差异会放大为整体成功率的巨大差异，失败尝试同样消耗资源。作者改以“每完成一个任务”的能耗、成本和时间作为评估单位，提出模型选型决策模型，并在 15 个开放权重模型、两个多步 agent 任务上做试点测量。

此前模型对比多停留在单次调用层面的能耗与成本，忽略了 agent 任务的多步串联特性。该研究把评估单位从“每次调用”切换到“每个成功完成的任务”，并指出每种资源都存在长度阈值，超过后小模型不再更省，这改变了 agent 场景下的选型判断标准。

agent 任务只有在所有必要步骤都成功时才算完成，因此单步可靠性差异会随步骤数累积放大；同时失败重试也在消耗能源、成本和时间。论文因此引入每种资源的交叉任务长度：短任务下小模型占优，长任务下大模型占优，中间区间才需要按目标权衡，并用两阶段框架先做 Pareto 筛选、再做加权决策。

产品与研发在搭建 agent 流程时，需要把评估指标从单次调用成本改为单任务成功成本，并按任务长度分档选型，而非默认使用最大模型。对长链路任务，继续使用小模型可能同时增加成本、时延与失败率；对短任务，大模型则可能带来不必要的开销。

• 在 agent 编排层内建任务长度与步骤数探测，按短、中、长三档自动路由到不同规模的模型。
• 把“每成功任务能耗/成本/时延”做成监控指标，替代单次调用指标用于模型选型和版本回归。
• 针对已知的交叉任务长度设置告警，当任务步骤数超过阈值时提示切换到更大模型。
• 为客户提供按任务成功成本计算的选型报告，覆盖开放权重模型与自托管推理场景。

• 论文中 15 个模型的具体规模、开发者与任务类型未在证据中完整列出，其结论能否外推到其他 agent 任务尚不明确。
• 交叉任务长度在不同任务、不同工具调用方式下是否稳定，证据未给出量化范围。
• 两阶段框架中 Pareto 筛选与加权决策的具体参数和权重设定方式未在证据中说明。
• 在允许重试与不允许重试两种设定下，实际成本差异幅度缺少证据支撑。