TopK-Guided：面向高效 LLM 推理的自适应预算感知激活稀疏

一篇 arXiv 论文提出 TopK-Guided，一种无需训练的 LLM 推理加速方法。它把 token 级稀疏度自适应与 block 级预算分配结合，在 Llama-2 和 Llama-3 上相较 TEAL 与 WINA 同时改善困惑度和下游准确率，且投影计算量与 WINA 基本持平，高稀疏度时增益最大。

此前的免训练激活稀疏方法存在取舍：TEAL 按 token 自适应但无法严格控制实际稀疏度，WINA 固定稀疏度却对所有 token 使用同一预算，二者还忽略不同 transformer block 的敏感度差异。该工作同时处理这两点。

对激活中不重要的分量置零以跳过对应计算，是激活稀疏加速推理的基本机制。TopK-Guided 保留 TopK 思路对稀疏度的硬约束，同时允许 token 级预算在界内浮动，并按各 block 敏感度分配不同预算，从而在不增加投影计算的前提下减少精度损失。

若结论可复现，推理侧工程可在不改模型权重、不重训练的前提下调整稀疏策略，在相同投影计算预算下获得更低困惑度和更高下游准确率，为高稀疏度部署场景降低成本提供一条可验证路径。

• 在自有 Llama-2 或 Llama-3 服务上复现 TopK-Guided，与现有 TEAL 或 WINA 配置做同预算对照测试
• 针对延迟敏感场景设定目标稀疏度，用 block 敏感度分配替换全局统一预算以评估准确率收益
• 将高稀疏度下的精度增益纳入推理成本模型，测算单请求算力节省是否覆盖实现复杂度

• 论文未在证据中给出具体困惑度与准确率数值及测试数据集规模
• 未说明在 Llama-2 与 Llama-3 之外模型或其他模态上的泛化表现
• 未提供实际端到端延迟、吞吐或显存占用的测量结果
• 未说明代码或权重是否公开，复现成本尚不明确