vSkipper：把动态层跳过转化为 LLM 服务收益

arXiv 论文提出 vSkipper，一个让动态层跳过技术可在 serving engine 中即插即用的虚拟化层，保留 continuous batching、固定形状批次、paged KV caching 与已捕获的 decode graph。团队在 SGLang 中实现，用 FlexiDepth checkpoint 与上游 SGLang 在相同条件下对比：负载曲线拐点处 GSM8K 平均端到端延迟降低 36.8%、BBH 降低 13.6%；饱和时吞吐提升 11.3% 与 7.4%。

此前动态层跳过依赖专用生成循环，无法接入现代 serving engine，跳过层数并不等于更低延迟：FlexiDepth 平均跳过 Llama-3-8B 的 32 层中的 8 层，解码反而慢 14.6%–21.0%。vSkipper 首次在现代引擎内把逐 token 内部层跳过转化为实际服务效率提升。

vSkipper 以虚拟化层把 skipper 与引擎解耦，在每个路由层按 skipper 决策对 token 分组，仅在预测有利时才走 routed execution，从而保留连续批处理、固定形状批次、分页 KV 缓存和捕获的 decode graph。这样减少的层数才能兑现为延迟与吞吐收益，而非被调度与图执行开销抵消。

对部署 LLM 的团队而言，这意味着在现有 SGLang 服务栈上可通过替换 skipper 与 checkpoint 获得延迟与吞吐改善，且无需按负载专项调参；运维上需关注 skipper 决策分组与预测收益判断带来的额外复杂度，以及质量是否仅在 checkpoint 自身损失范围内。

• 在自建 SGLang 服务中接入 vSkipper fork，用同一批 prompt 与流量做 A/B，验证延迟与吞吐收益
• 针对长输出或高并发场景，评估路由执行预测阈值与批次形状对收益的影响
• 把现有 FlexiDepth 类 checkpoint 从实验脚本迁移到生产 serving 路径，减少维护专用生成循环的成本
• 跟踪 vSkipper 在其他 skipper 与 GPU 上的复用证据，形成内部选型基准

• 在真实生产流量与不同模型规模下，36.8% 与 13.6% 的延迟降幅能否保持
• 路由执行预测错误或阈值设置不当会带来多大性能与质量回退风险
• 除 GSM8K、BBH 外，其他任务与长上下文场景的质量与延迟表现如何
• vSkipper 与上游 SGLang 后续版本的兼容性和维护成本如何