HHR：面向高效 LLM 生成的分层哈希检索

arXiv 论文提出 HHR（Hierarchical Hash Retrieval），用于缓解 LLM 长上下文推理的计算瓶颈。作者指出，哈希检索将查询和键编码为二进制码并用汉明距离选键，会丢失特征幅值信息，导致低 logit 键被误选、高 logit 键被漏选。HHR 采用由粗到细框架，通过 GKR 和 LHP 逐步提升检索准确度。实验显示，在 LongBench 上平均分提升 1.10 分。

此前基于哈希的稀疏注意力主要依赖汉明距离，与真实 Query-Key 相关性存在结构性偏差。HHR 直接针对该偏差做校正，使哈希检索在长上下文场景下更接近真实注意力排序，为长上下文推理提供一条不同于稠密注意力的优化路径。

哈希二值化会丢弃特征幅值，而 Query-Key logits 同时取决于方向相似度和幅值。HHR 先用 Geometry-Aware Key Routing 学习逐头正交变换，重新分配幅值并推导页级 logit 上界，从而剪掉低 logit 键；再用 Learned Hash Projection 学习逐头投影空间，使汉明距离对齐真实相关性排序，抑制假阳性并找回假阴性。

对长上下文推理产品而言，该方法若可落地，可能降低 128K 级上下文下的检索与注意力计算开销，并减少因哈希误选导致的回答质量下降。研发侧需评估其与现有 KV Cache、稀疏注意力框架的集成成本，以及额外学习的投影是否增加训练或适配负担。

• 在长文档问答或代码库检索类产品中，用 HHR 替换现有哈希稀疏注意力，测量 128K 上下文下的延迟与质量变化。
• 对已有 RAG 或 KV Cache 压缩管线做 A/B 测试，验证 GKR 与 LHP 是否能减少高相关片段的漏选。
• 将 HHR 的粗到细检索思路产品化为可配置的上下文压缩模块，允许按任务调节召回与延迟。
• 在模型服务侧评估 HHR 对显存占用和每 token 推理成本的影响，形成可对外说明的性能基线。

• 论文摘要被截断，128K 上下文下的具体提升数值和实验设置尚未完整披露。
• HHR 在 LongBench 之外的其他基准和模型规模上的表现是否一致，证据不足。
• GKR 和 LHP 的训练成本、收敛稳定性及对基座模型的依赖程度未说明。
• 该方法与现有 KV Cache 压缩、稀疏注意力方案的组合效果和兼容性尚不明确。