超越二元优先级：面向大语言模型服务的多层级SLA调度

本研究扩展了Llumnix调度器，将其优先级从两级扩展为任意多层，并在Vidur模拟器中实现了每层余量、分派排序及迁移流水线。实验表明，四级优先级在成本效益上最优，相较于INFaaS，prefill平均加速最高8.3倍，端到端P99延迟加速最高3.1倍，成本-延迟改善46%至68%，且在高优先级层级下保持SLO区分度。

此前LLM服务调度通常只区分高低两个优先级，难以适应生产中多样的SLA等级。本研究通过支持任意数量的优先级层级，实现更精细的SLO区分，显著提升延迟表现并降低成本，为多租户LLM平台的调度设计提供了新的基准和实证依据。

Llumnix通过统一的"freeness"指标实现负载均衡、碎片整理、优先级和自动扩缩容。本研究将该指标扩展为多层优先级，引入每层余量的指数衰减机制和层级感知的分派顺序，使调度器能更精确地匹配不同SLA要求。通过模拟不同优先级分布，验证了四级优先级在成本与性能间取得最佳平衡。

对于提供LLM API服务的平台，采用多层SLA调度可显著改善高优先级请求的延迟（P99加速最高3.1倍），同时降低基础设施成本（成本-延迟改善46%-68%）。产品团队可依据用户等级设定不同SLA，优化资源分配，提升整体服务性价比。

• 在多租户LLM平台中引入四级优先级SLA，为不同客户等级分配差异化资源。
• 基于模拟结果优化调度策略，优先保障实时API调用，后台批处理使用低优先级。
• 评估现有调度器，考虑集成类似Llumnix的多层优先级迁移机制以降低成本。

• 真实生产环境中四级优先级的具体SLA阈值如何设定？
• 该调度器在实际GPU集群上的性能与模拟结果是否一致？
• 扩展到10个优先级层级时，系统复杂度增加是否带来运维负担？