Crossflow：面向 Agentic LLM 服务的 Prefill-Decode 弹性调度

arXiv 论文提出 Crossflow，指出 Prefill-Decode 分离依赖静态资源划分，但真实负载中未缓存输入与输出 token 比例波动剧烈：分钟级峰值均值比可达 4.7x，公开 agentic trace 的每小时比例单日跨度中位数为 24.5x，而重新分配副本需数十分钟。Crossflow 让 decode 节点发布短期可撤销租约，动态限定本地 prefill 计算、KV 容量、传输与输出预算，在公开与内部 trace 上将 token 吞吐几何均值提升 16.2%–17.4%，高负载下最高提升 43.4%，并降低平均 TTFT。

此前 P/D 分离的效率收益建立在静态划分假设上，而 agentic 流量的阶段需求随时变化，要么按九十五分位留出最高 17% 闲置容量，要么承受排队与吞吐损失。Crossflow 在不改变节点角色的前提下让边界可弹性伸缩，把静态划分问题转为可动态回收的租约问题。

机制是 decode 节点主动发布短期且可撤销的租约，租约同时约束本地 prefill 计算量、KV 容量、传输工作和预计输出量；当阶段需求变化时，资源边界可随租约调整而非重建副本，从而避开重新分配副本所需的数十分钟延迟，将闲置容量转化为可用的 prefill 或 decode 吞吐。

对自建 LLM 推理服务的团队，这意味着在不增加节点、不切换节点角色的情况下即可提升吞吐，高负载场景收益更明显，同时平均 TTFT 下降可改善交互体验。产品侧可将推理集群的容量规划从按峰值静态预留，转向按租约动态调配，降低为应对波动而预留的冗余成本。

• 在推理调度层引入可撤销租约机制，为 prefill 与 decode 节点间的资源边界提供分钟级动态调整能力。
• 针对 agentic 工作负载建立输入输出比例监控，按分钟级峰值均值比触发租约回收，替代九十五分位静态预留。
• 将租约同时约束计算、KV 缓存与传输预算，做成统一资源账本，避免单一维度调优造成瓶颈转移。
• 在容量规划工具中加入动态 P/D 边界模拟，量化静态划分造成的闲置容量与排队损失。

• Crossflow 在非 agentic 或训练混合负载下是否保持同等吞吐与 TTFT 收益？
• 可撤销租约在极高并发下的回收延迟与调度开销是多少，是否有最坏情况？
• 17% 闲置容量与 16.2%–17.4% 吞吐提升的测试集群规模与硬件配置是什么？
• 该方法是否已开源或集成到现有推理框架，落地改造成本如何？