熵不够用：LLM 输出长度预测中重拾丢失的语义

arXiv AI 发布论文《When Entropy Is Not Enough: Reclaiming Lost Semantics in LLM Output Length Prediction》，提出 ESTP（Entropy-and-Semantic Token Pooling）框架，结合预填充阶段的熵和注意力权重来预测输出长度。在 ForeLen 基准上多数场景预测更准，集成长度感知调度器后吞吐提升、填充比下降。

此前熵引导的方法忽略 token 语义差异，导致重要 token 权重不足，预测可靠性受限。ESTP 复用预填充阶段的注意力权重，几乎不增加额外开销，显著提升预测准确率，为长度感知调度提供了更可靠的构建模块，对长上下文推理和强化学习场景尤其有利。

LLM 解码需将序列填充到固定最大长度，浪费算力并降低吞吐。提前预测输出长度可使调度器按长度分配资源。熵反映不确定性，但忽略 token 语义重要性；ESTP 将熵与从自注意力权重导出的重要性分数结合，在预填充阶段复用激活值，以极低额外计算和内存开销同时捕捉不确定性和语义重要性，从而提升预测精度。

LLM 服务可减少因长度预测不准导致的过度填充，降低算力浪费并提升吞吐，直接降低推理成本。对长上下文推理和强化学习等场景，长度感知调度能更高效利用 GPU 资源，改善响应延迟。工程上需集成 ESTP 到现有推理框架，利用预填充激活值，改动成本较低。

• 在现有 LLM 推理服务中集成 ESTP，结合长度感知调度器，实测吞吐提升幅度和填充比变化。
• 针对长上下文推理或强化学习工作负载做 A/B 测试，量化延迟和成本收益。
• 将 ESTP 作为优化模块嵌入 LLM Serving 框架，面向云推理平台提供 API 供开发者使用。
• 基于 ESTP 输出长度预测开发动态批处理策略，减少 GPU 空闲等待。

• ESTP 在不同模型规模（如 7B vs 70B）上的泛化表现是否稳定？
• 集成 ESTP 后端到端的实际吞吐提升比例和额外延迟具体数值未在摘要中给出。
• ESTP 在未见过的任务类型或分布外数据上的预测可靠性未知。
• 论文是否提供与现有长度预测方法在计算开销上的直接对比？