TailSieve：针对大模型 rollout 的基于部分回滚的尾部路由框架

TailSieve 是一个用于 LLM rollout 的部分回滚引导的尾部路由框架，通过尾部隔离与负载均衡结合，优化长尾生成任务，实现最多 1.67 倍路由加速，结合 MTP 或 DFlash 时可达 2.59 倍加速。

现有 LLM rollout 常采用均匀路由，导致少数长尾生成阻塞整体完成时间。TailSieve 首次引入部分回滚信号来识别尾部任务，并动态调整隔离组和副本分配，显著提升大规模训练和评估管线的效率，降低端到端延迟。

长尾提示在策略更新后仍保持长尾特性，因此可用部分回滚作为无训练信号识别候选尾部组。分层控制器根据响应工作历史和吞吐量模型，动态调整尾部池和批量池的副本分配，同时将长尾任务隔离在低并发池中，优化资源利用并减少阻塞。

对 LLM 训练和评估基础设施提供商，TailSieve 可降低 rollout 步骤的端到端时间，提高 GPU 利用率，减少因长尾任务导致的资源浪费，从而降低训练和评估成本，加快迭代周期。

• 在 LLM 训练平台中集成 TailSieve 作为可插拔的 rollout 调度器，优化 RL 后训练和 OPD 流程。
• 为评估流水线提供 tail-aware 的路由策略，减少采样密集型评估中的长尾延迟。
• 结合 MTP 或 DFlash 实现 route-specialized 推测解码，进一步提升尾部池的效率。

• TailSieve 在真实生产环境中的性能是否与论文实验一致？
• 部分回滚信号在任务长度分布变化剧烈的场景下是否仍然有效？
• TailSieve 对多租户或共享集群的公平性和资源排挤有何影响？