Delta Tokenizer：会话增量与多核长提示分段并行的参考一致分词

论文提出 Delta Tokenizer，一种 CPU 分词前端：对同一会话只编码新增文本和可能受影响的短尾，长请求则按分词器自身分割边界切块并在多核并行编码后拼接，结果与参考编码完全一致。据称会话轮次分词缩短约 40 倍，16 核下四百万字符请求比串行快 8.2 倍，比 LoPT 快 1.6–2.1 倍，并在 SGLang 中降低某种指标（原文截断）。

此前推理引擎只复用共享前缀的 KV cache，分词仍每轮从头重做，成为 TTFT 与 CPU 占用的固定开销。该工作把增量复用和分段并行扩展到分词阶段，并声称结果与参考分词逐位一致，意味着优化不以改变模型输入为代价。

它保留上一轮 token 序列，仅重编码新增文本及可能被追加影响的短尾，并在分词器切分规则本身无法移动的位置拼接，从而保证等价。长请求方面，利用实用分词器相邻片段已相互独立的特性切块，多核并行编码后拼接；共享 CPU 池让短增量更新插入到两个长块之间，避免排在整段长任务之后。

若结果可复现，服务端可缩短长会话的 TTFT 并降低每轮 CPU 分词成本，同等 CPU 下支持更多并发会话；长提示的编码延迟下降也可能改变前端预处理与调度设计。对产品而言，长系统提示与多轮对话场景的响应更稳定，但需评估接入推理引擎的改造成本。

• 在自建推理服务中试点该增量分词前端，先对比同会话多轮的 TTFT 与 CPU 占用基线
• 对长系统提示或长文档场景测试分段并行编码，评估多核利用率与端到端延迟收益
• 将分词耗时纳入推理监控指标，识别 CPU 前端成为瓶颈的会话形态
• 在多租户服务中评估共享 CPU 池调度长短任务混合负载时的公平性与尾延迟

• 摘要中 SGLang 集成的效果描述被截断，具体降低幅度与指标未给出
• 40 倍、8.2 倍与 1.6–2.1 倍均为论文自述，尚缺独立复现
• 与 LoPT 的对比条件、硬件配置和分词器类型未在证据中说明
• 参考一致性的边界条件，如特殊分词器或不规则切分规则下是否成立，尚未确认