超越试错循环：分布式训练的混合投影与自动调参

该论文提出 Primus Projection 方案，用于解决数百 GPU 上分布式 LLM 训练配置的试错成本问题。方案包含两部分：混合投影引擎在单卡上跑 GPU 微基准并捕获计算内核与范围内的通信，再用子节点降尺度测量—升尺度流程解析还原范围外的集合通信、FSDP overlap 与完整流水线调度，另提供纯 CPU 模拟模式以支持无 GPU 的前置规划；Primus Tuning Agent 将其作为快速评分 oracle，配合确定性种子规划器与 LLM 调查循环搜索配置空间，并用解析内存预过滤提前剔除不可行候选。

此前团队配置并行策略与显存参数主要依赖多节点反复试错，崩溃和次优配方持续消耗 GPU 机时。该工作把单候选评估从数十分钟压缩到数秒，并允许在无 GPU 环境下做前期规划，验证覆盖 Llama 3.1 与 Mixtral 8x22B 两代 GPU，投影吞吐与实测偏差约 10%。

机制上把可测量的部分交给单设备微基准，把无法直接测量的多节点集合通信、FSDP overlap 和流水线调度通过降尺度测量再升尺度做解析还原，从而在保持精度的同时避免真实多节点开销。调参侧把投影引擎当作低成本评分函数，先扫单轴，再由 LLM 提出跨轴组合，并以解析内存预过滤在花费 GPU 时间前淘汰非法配置。

对训练框架与平台团队，这意味着配置搜索可以前置到 CPU 或单卡环境，减少多节点崩溃带来的机时浪费，并缩短新模型与新硬件代际的适配周期。研发流程上，并行策略、micro-batch、重计算、分片与 overlap 的联合调参可从人工试错转为可自动化的候选排序，但结论依赖约 10% 的投影精度是否满足业务对吞吐与显存边界的容忍度。

• 在训练平台中集成投影式配置评分接口，允许提交配置前先在 CPU 或单卡环境预估吞吐与显存合法性。
• 为集群调度系统增加解析内存预过滤，在任务排队前拒绝不可行配置，减少无效 GPU 占用。
• 面向 MoE 与长上下文训练场景，提供并行策略自动搜索服务并输出可复现的种子计划。
• 将调参代理与现有实验跟踪系统对接，把投影分数与实际多节点吞吐做持续偏差监控。

• 论文摘要称约 10% 偏差，但未披露偏差在不同模型规模、集群拓扑与网络条件下的分布情况。
• 纯 CPU 模拟模式对集合通信与 overlap 的还原精度是否仍有待确认。
• LLM 调查循环在超大规模配置空间中的收敛时间与调用成本尚未给出。
• 生产规模下的保真度结论是否覆盖除 Llama 3.1 与 Mixtral 8x22B 之外的模型与硬件代际。