全局模拟引导的动态算子调度：高效多租户模型服务

arXiv 发表论文介绍 SliceScheduler，一种面向多租户模型服务的动态算子级调度系统。它通过全局映射图捕捉集群范围内的算子状态，结合全局模拟器执行 if-what 推理，实现细粒度资源复用。生产环境追踪回放显示，与现有方法相比，token 吞吐量提升 1.10 至 2.29 倍，同时保持 SLA 违规在可接受范围内。

现有容器级调度无法利用容器内的短时空闲片段，而算子级调度面临依赖、内存安全和集群执行动态的实时推理挑战。SliceScheduler 首次结合全局映射图和模拟器进行推理，使调度决策更精细、更智能，显著提升多租户场景下的吞吐量，同时保障 SLA，对推理基础设施优化有重要参考价值。

SliceScheduler 通过全局映射图统一表达算子依赖、张量形状、资源映射和执行状态，提供实时全局视图。基于此建立全局模拟器，预测候选放置下的算子级执行和内存演变。调度模块采用增量式模拟，选择能利用碎片化空闲分片且避免内存违规和 SLA 破坏的放置方案。算子执行器在 GPU 上实现决策，协调计算和跨加速器传输，从而在细粒度上优化资源利用。

对于推理平台或云服务商，采用 SliceScheduler 可提升多租户 GPU 利用率和 token 吞吐量，降低单位请求成本，同时保证服务质量。对依赖大模型推理的应用，可能带来更低的延迟和更高的并发能力。研发团队需关注调度系统的复杂度和与现有框架（如 PyTorch）的集成成本。

• 在内部多租户模型服务集群中试点部署 SliceScheduler，对比现有调度器的吞吐量和 SLA 表现，验证收益。
• 将 SliceScheduler 的全局模拟思想集成到自有推理平台，提升 GPU 碎片资源利用率，降低单位推理成本。
• 基于论文思想开发轻量级模拟工具，用于容量规划和调度策略预演，减少生产环境试错成本。

• SliceScheduler 在多种模型架构和硬件环境下的泛化能力如何？
• 与容器级调度相比，其调度决策的计算开销是否会成为瓶颈？
• 论文中的 SLA 违规率具体数值和对比基线未在摘要中给出，实际效果是否一致？
• 该方案是否开源或已商业化？