AsymSpec：面向 Agentic LLM 的上下文非对称投机解码

AsymSpec 是一种面向 agentic LLM 的上下文非对称投机解码框架。它让小体量的草稿模型读取完整输入，而大型验证模型只处理压缩视图，通过对比 δ 融合和发散感知接受门保持稳定。在四个 agentic 能力和两个端到端基准上，AsymSpec 平均达到全上下文准确率的约 90%，在孤立文本能力上实现 1.3–1.7 倍吞吐提升，计算成本仅为原来的 0.2–0.3 倍。

此前投机解码假设起草模型与验证模型共享相同上下文，无法解决压缩输入带来的准确率下降。AsymSpec 打破这一约定，让草稿模型读取完整上下文，验证模型只处理压缩视图，在较低计算成本下保留更多推理关键信息，为 agentic 流程的延迟与准确率权衡提供了新方案。

投机解码通常由一个轻量模型起草多个候选 token，再由大模型并行验证。传统方法要求两者上下文一致；AsymSpec 则让草稿模型看到完整输入，验证模型只看压缩后的输入。通过对比 δ 融合，草稿模型的完整上下文信息用于调整验证模型的概率分布；发散感知接受门则根据两模型输出的分歧程度决定是否接受候选，从而在加速同时维持验证稳定性，减少因压缩导致的推理信号丢失。

对依赖多轮检索、工具调用和长上下文的 agent 产品，此方法可在不显著降低任务准确率的情况下减少约 70–80% 的计算开销，提升 1.3–1.7 倍吞吐。直接带来推理成本下降和响应延迟改善，使压缩输入策略更可用，或可减少对昂贵大模型的依赖。但需替换现有解码流程，并保证草稿模型具备处理完整上下文的能力。

• 在 agent 型对话产品中集成 AsymSpec，以压缩输入的 token 成本换取相近准确率，降低单次交互推理费用。
• 将 AsymSpec 作为 API 服务提供给需要长上下文处理的第三方应用，按加速比和 token 节省计费。
• 针对具体 agent 场景（如检索增强生成）进行微调适配，验证 90% 准确率下的真实任务表现，形成基准测试报告。
• 在开源推理库中实现 AsymSpec 扩展，吸引开发者社区采用，并收集真实场景性能数据。

• AsymSpec 在更大规模模型（如 175B+ 参数）上的加速比和计算节省是否保持？
• 发散感知接受门的阈值如何设置，是否对不同压缩率敏感？
• 草稿模型读取完整上下文会否引入额外内存或延迟开销，影响端到端实际加速？
• 在非文本能力（如视觉语言模型）中是否有效，论文未提供相关证据。