LLM 编排何时值得？一项关于准确性、成本与任务难度的对照评估

arXiv AI 发表了一项对照研究，评估 Self-Refine、Best-of-N 和 Debate 三种 LLM 编排方法，与仅任务和链式思维基线相比，在五个模型和三个领域中的表现。结果显示，编排带来的平均最大准确率提升为 4.6 个百分点，但需消耗 2 至 4 倍 token，且效果与模型高度相关。

此前关于 LLM 编排的收益常被乐观估计，且缺乏对照。本研究通过统一优化预算和难度分层基准，量化了编排的有限收益和成本，并发现其效果高度依赖具体模型，为编排决策提供了更扎实的证据。

编排通过多轮生成或辩论增加推理时计算，理论上可提升准确性，但收益受任务类型和模型能力限制。本研究中收益与任务难度无显著关联，而是与模型强交互，说明编排并非通用提升，需根据模型特性定制。

产品团队在引入编排时需评估模型特定收益：低成本场景可能不值得增加 token 开销；高准确率需求下，需选择适合的模型和编排组合。成本敏感型产品应谨慎采用编排，避免收益不抵成本。

• 开发模型-编排匹配工具，根据后端模型和任务类型自动推荐是否使用编排。
• 在成本预算内，为高准确率任务配置 Best-of-N 或 Debate，但需先验证收益。
• 建立基准测试流程，将编排收益与模型选择结合评估，优化推理成本。

• 研究中的准确率提升是否在更大规模或更复杂任务中依然成立？
• GEPA 优化是否对所有方法公平，是否影响结果？
• 编排效果与模型特性的具体交互机制尚不明确。