可达非实现：追踪大型语言模型基准提升的来源

arXiv 论文《Reachability Is Not Realization》提出问题级审计方法，区分模型达到（reachable）与实际实现（realized）的基准表现。研究发现，在43个模型和任务设置中，随机路由匹配或超越结构化搜索；沉默特定MLP块可修复68%至92%的失败集；训练在多数情况下提升部署分数但未扩大可达上限，如DAPO部署提升14.7分而可达上限下降13.3分。

以往基准分数提升常被直接解读为模型能力增强，但本研究揭示同一分数可能源于不同行为变化。该方法区分可达与实现，挑战了仅凭聚合分数评估能力的做法，提示能力测评需更细粒度，可能影响模型评估标准与研发方向。

模型默认流程下能正确回答的问题视为已实现，而通过固定预算内的特定探针才能找到答案的问题视为可达。研究发现推理时层级路由并不能扩大可达性，随机路由已足够；而沉默特定MLP块可修复部分失败，表明内部机制影响答案生成。训练提升部署分数但未提升可达上限，说明提升可能来自更高效利用已有知识，而非扩展知识范围。

对产品评估体系有直接影响：现有基准分数可能高估能力提升，产品团队需在固定预算、温度等条件下额外评估可达性，避免被营销性benchmark误导。该发现也可能影响模型优化方向，转向提升实现效率而非单纯增大模型或数据。

• 开发集成问题级可达性审计的评估工具，供内部模型迭代对比，区分实现与可达提升。
• 基于MLP块沉默修复机制，探索模型压缩或蒸馏时保留关键块以维持性能。
• 为模型报告增加'可达上限'指标，提升透明度，辅助客户决策。

• 该审计方法在其他模型架构或更大规模上的效果如何？
• 沉默MLP块的机制是否可推广到其他任务类型？
• 训练扩大可达性的失败是否具有普遍性，或仅限特定算法？