FlowMaker：从任务到高性价比生成式 AI 工作流部署

论文 FlowMaker 针对生成式 AI 工作流提出联合优化方法：用户提交任务后，系统同时选择工作流结构、模型分配和部署配置，并依据动态集群状态即时决定是否复用已部署的 LLM。作者称，与包括 Murakkab 在内的现有基线相比，FlowMaker 将 goodput 最多提升 10.14 倍，成本最多降低 2.77 倍。

现有系统通常单独优化工作流结构、模型选择或部署配置，或提前固定这些决策；FlowMaker 将它们放在动态负载下联合决策，并把已部署模型的即时复用纳入调度，针对的是成本与有效吞吐同时受影响的部署环节。

多个 LLM 调用组成工作流，每个子任务可换用不同模型和部署方式；不同组合在延迟、成本和准确率上存在差异，且最优组合会随集群负载变化。FlowMaker 提供任务级接口，用约束引导、负载感知的剪枝算法快速搜索工作流变体，避免逐一枚举全部组合，并根据当前负载和资源可用性决定模型复用。

对构建多步骤 LLM 产品的团队，这意味着部署层可自动在模型组合、工作流路径和资源复用之间做权衡，减少手工配置与静态容量规划；研发需把任务级接口、负载状态和成本约束纳入调度系统，产品体验则可能表现为动态负载下更稳定的吞吐与更低的调用成本。

• 在多步骤 LLM 产品中增加任务级调度层，按实时负载自动选择工作流变体和模型组合。
• 将已部署模型的复用策略做成可配置能力，结合当前资源可用性动态启停。
• 建立以 goodput 和单位任务成本为核心的部署评估面板，对比静态配置与动态调度。

• FlowMaker 在真实生产负载和多种模型供应商下的表现尚未由证据确认。
• goodput 与成本提升数据对应的实验规模、任务类型和基线配置未在证据中说明。
• 约束引导剪枝是否会牺牲任务准确率，证据未给出准确率变化细节。
• 该方法对现有应用架构的改造成本和集成复杂度尚不明确。