超越截断：将 LLM 解码重新视为集成剪枝

一篇 arXiv 论文提出 Mahalanobis-Ensemble Decoding（ME-Decoding）框架，将 LLM 解码中的候选 token 选择问题重新表述为集成剪枝。该方法针对现有策略只依赖标量概率、忽略语义几何关系而产生候选冗余的问题，使用基于 Mahalanobis 距离的目标函数做子集优化，综合 token 相似度矩阵动态折扣冗余生成路径，并设计近线性复杂度的贪心选择算法，声称具备理论近似保证，可作为即插即用模块，在多种推理与生成任务上取得稳定表现。

以往解码多数只看 token 标量概率，容易选出语义重复的候选；已有的几何感知方法往往需要复杂优化或直接重新加权原始概率，带来额外计算或推理不稳定。该工作把解码选择统一为子集优化，并声称在候选规模上接近线性复杂度，意味着在不明显增加推理开销的前提下同时兼顾高概率与语义多样性。

机制分三步：先通过 token embedding 上的自适应带宽核构建 token 相似度矩阵；再以 Mahalanobis 距离驱动的目标函数衡量候选子集的语义多样性，并用该矩阵对冗余生成路径做动态折扣；最后用带早停的贪心算法近似求解该子集优化问题，并给出理论近似保证。由于是模块化设计，理论上可接入现有解码流程而不改动模型本身。

若结论可复现，团队可在不重训模型的情况下替换或叠加解码模块，用于降低生成内容的重复与同质化，尤其影响长文本生成、多候选推理和 Agent 采样等场景。代价主要体现在每步解码需构建相似度矩阵与执行贪心选择，工程师需评估其对延迟和显存的实际影响，再决定是否在生产推理链路中启用。

• 在现有推理服务中把 ME-Decoding 作为可开关的解码插件，对比默认采样在重复率与任务准确率上的差异。
• 针对客服、营销文案等重复率敏感场景，构建以语义多样性为核心指标的离线评测集，验证该方法的业务收益。
• 在候选规模较大的 beam search 或多次采样流程中测试该贪心剪枝，评估是否能以更低候选数维持质量。
• 记录解码阶段的 token 相似度矩阵与冗余折扣情况，作为诊断生成重复问题的可观测信号。

• 论文尚未公布与主流解码方法在同等算力下的完整对比数据。
• 自适应带宽核与 Mahalanobis 目标的具体超参数敏感度未知。
• 近线性复杂度与理论近似保证在真实长上下文场景中是否成立仍待验证。
• 该方法与投机解码、量化推理等现有加速技术能否叠加使用尚不明确。