TokenRouter：面向 Token 级 LLM 路由的高效服务系统

arXiv 论文提出 TokenRouter，一种面向 token 级 LLM 路由的高效服务系统。论文指出，token 级细粒度路由虽能提升效率与质量，但现有系统基于单模型假设，会出现严重的步调不同步与批次准入延迟，且开发实现复杂。TokenRouter 采用“请求为中心编程、模型为中心执行”原则，为每个 LLM 启动子服务器并异步调度请求，配合延迟批处理调度器，在多种路由算法和工作负载下解码吞吐量比现有系统高 2.01 至 64.15 倍。

此前生产系统多采用会话级或查询级粗粒度路由，token 级路由虽有算法收益，却因系统架构不匹配而难以高效落地。TokenRouter 将路由粒度推进到 token 级并给出可运行系统，意味着路由从算法研究走向可部署的服务基础设施，可能改变 LLM 推理的成本与质量权衡方式。

核心机制是把路由逻辑与执行解耦：开发者只描述单个请求的路由策略，运行时按模型拆分出独立子服务器并异步派发请求，避免多模型混合批处理导致的状态等待。每个子服务器使用延迟批处理调度器，其超参数由吞吐数学模型推导，从而在 token 级切换下维持较高批处理效率。

对研发而言，token 级路由系统若可复用，可能降低多模型组合推理的工程复杂度，使按 token 动态选择模型成为可上线的能力。对成本与体验而言，同一请求内可在不同 token 上使用不同模型，有望在保持质量的同时压缩推理开销，但需评估延迟与调度引入的额外复杂度。

• 在多模型推理服务中试点 token 级路由，优先用于对成本敏感、质量要求分层的生成场景
• 基于 TokenRouter 的开源实现搭建内部评测，对比现有查询级路由的吞吐、延迟与输出质量
• 将“请求为中心编程”封装为内部 SDK，降低业务团队接入多模型路由的改造成本
• 针对高并发解码场景验证延迟批处理调度器超参数，形成可复用的部署配置模板

• 2.01 至 64.15 倍吞吐提升对应的具体硬件、模型对与工作负载是否可复现？
• token 级路由在真实生产流量下的延迟、稳定性与容错表现尚未验证
• 该方法对模型间能力差异、路由算法质量的依赖程度尚不明确
• 开源代码的维护活跃度、许可证与生产可用性未在证据中说明