KITE：面向高效 Agentic LLM 扩展的 KV 不变式 Transformer 扩展方法

arXiv 论文提出 KITE 扩缩范式：先把模型从小尺寸训练到大尺寸以节省训练成本，并将新增参数放在不影响 attention KV 的区域；据此构建的 Step Scale Transformer（SST）为双塔 decoder，一塔产生 KV，另一塔读取。67B MoE 模型每个解码 token 仅激活 2.15B 参数，在可比累计训练算力下训练损失低于 47B 与 63B MoE Transformer，估计推理成本分别降低 6.7% 与 31.6%。

常见扩容做法同时抬高训练、预填充与自回归解码成本，KITE 把新增参数放到不改变 attention KV 的位置，使预填充 KV 只依赖较小的那部分模型。论文给出可比的训练损失和推理成本下降数字，指向一种同时压低训练与推理开销的扩容路线。

该范式通过 upcycling 从较小模型扩到较大模型，降低训练算力需求；由于新增参数不参与 attention KV 的生成，推理预填充阶段的 KV 计算量只由较小模块承担，从而节省预填充成本。SST 用双塔 decoder 将产 KV 与读 KV 的职责分离，使激活参数与 KV 计算解耦，论文报告 67B MoE 在损失更低的同时估计推理成本下降。

若该结论可复现，Agent 类产品的长 prompt 预填充和自回归解码成本可能同时下降，同等算力下可支撑更长上下文或更高并发；研发侧可评估双塔结构与参数放置策略，而不是只按总参数量规划推理资源。成本下降幅度取决于实际部署形态，当前仅为论文估计值。

• 在长上下文 Agent 场景中对 SST 双塔结构做小规模复现，验证预填充 KV 成本与延迟是否真的下降
• 评估将现有 MoE 模型按 KITE 方式 upcycling 扩容，比较训练算力与最终质量
• 在推理调度层区分产 KV 与读 KV 的模块，针对长 prompt 请求做单独的容量与批处理策略
• 对 6.7% 与 31.6% 的推理成本降幅做内部基准测试，确认是否适用于自有负载

• 论文报告的训练损失与推理成本优势是否在独立复现中成立
• KV-Invariant 参数放置是否会影响长上下文或 Agent 多轮任务的最终质量
• SST 双塔结构在真实推理系统中的显存占用、吞吐与延迟表现如何
• 从 47B/63B 扩容到 67B 的具体 upcycling 流程与代价尚未在证据中说明