先归一化再预条件：面向LLM训练的层级化边缘尺度与交互几何方法

一篇 arXiv 论文提出 Normalize-Then-Precondition 框架，重新审视矩阵优化器 Muon 的全 Gram 表示，发现其同时处理边缘尺度与交互信息。框架先用对角 Gram 信息构造边缘归一化更新，再对方向性交互几何做谱预条件。基于此提出 NormPre，含全局与局部两种变体，分别用 Newton-Schulz 迭代和随机 sketching 近似主导交互特征空间，并给出简化版本的收敛保证。

矩阵优化器此前以 Muon 为主要设计代表，本文将其拆解为边缘尺度与交互几何两类信息并分层处理，提出了不同于单一整体更新的组织方式。论文报告在 GPT-2 Small、LLaMA 和 Qwen3 的预训练实验中，两种变体在相同训练预算下持续优于 AdamW、Muon 和 MANO，并开源了代码。

全 Gram 表示下，Muon 的更新同时混合了边缘尺度与交互结构。该框架把两者解耦：对角 Gram 先做边缘归一化，确定每个方向的相对尺度；随后对该更新的方向性交互几何施加谱预条件，压制或增强主导特征模式。NormPre-G 面向全局谱范数最速下降，NormPre-L 采用正则化后选主导模式，分别用 Newton-Schulz 迭代与随机 sketching 降低大规模计算开销。

若结果可复现，训练侧可在不改变模型结构的前提下替换优化器，在相同预算下获得更低损失或更短训练时间，直接影响预训练算力成本与迭代周期。开源代码使团队可在自有 GPT-2、LLaMA、Qwen3 类模型上做小规模对照实验，作为是否迁移优化器的前置验证。

• 在自有小规模预训练任务上复现 NormPre 与 AdamW、Muon 的对照，验证相同算力预算下的损失差异
• 评估将 NormPre-G 或 NormPre-L 接入现有训练框架的改动量，重点看 Newton-Schulz 与 sketching 的显存和时间开销
• 针对长周期预训练场景，测试两种变体在效率与效果间的取舍，确定默认配置
• 基于开源仓库维护内部优化器分支，跟踪后续收敛保证与大规模实验的补充结果

• 论文实验的最大模型规模与训练 token 数未在证据中说明，结论能否外推到更大规模尚不明确
• NormPre 在微调、强化学习等非预训练场景的表现未经证据确认
• Newton-Schulz 与随机 sketching 带来的额外计算和显存开销具体数值未给出
• 是否存在独立第三方对 GPT-2、LLaMA、Qwen3 对比结果的复现验证