干扰项感知截断：区分长上下文基准中的上下文长度效应与信号丢失

一篇论文在BABILong和GraphWalks(BFS)两个长上下文基准上，用四种保留比例和两种截断协议测试了Claude家族（Haiku 4.5、Sonnet 4.6、Opus 4.7）及GPT-5.5。结果发现朴素截断（删除中间内容）导致性能显著下降，而干扰项感知截断（仅删除无关内容）则保持或提升性能，且在GPT-5.5上复现。

此前研究普遍认为保留相关信息时短上下文更好，但该论文指出该结论依赖于朴素截断方法，因其可能删除了答案所在内容。干扰项感知截断证明性能下降主要源于信号丢失而非上下文长度本身，这动摇了现有评测结论的有效性，并提示长上下文模型的实际能力可能被低估。

朴素截断随机或从中间删除内容，导致回答所需信号在低保留比例时幸存率极低（25%保留时小于1%），从而性能崩塌。干扰项感知截断通过识别并保留任务相关部分，使性能不受影响甚至提升，证明模型在完整上下文下表现良好，失败源于评测方法而非模型能力。

对依赖长上下文或RAG的产品，评测需采用干扰项感知截断以避免误导性结论。研发团队应审视现有评测流程，考虑改用此类协议以准确评估模型能力，避免因评测缺陷而错误优化模型或调整产品设计。

• 开发内部长上下文评测工具集，内置干扰项感知截断协议，用于模型选型与迭代验证，提升评测准确性。
• 针对RAG类产品，设计上下文压缩策略时优先保留任务相关片段，而非简单截断，以维持性能并降低成本。
• 在模型能力报告中，标注评测方法为干扰项感知截断，增强结果可信度，作为营销或技术沟通的差异化点。

• 干扰项感知截断在更多基准和任务类型上的泛化性如何？
• 该方法对模型训练或微调是否有直接影响？
• 真实产品场景中，如何实现自动识别任务相关内容的可行性？
• 朴素截断在其他模型家族上是否也表现出一致的性能崩塌？