LLM 生成的 GPU 内核是否可用于生产？基于追踪的基准测试与优化代理

Atrex-Bench 从完整集群生产推理轨迹中采样 30 个算子、440 个形状，每个问题带重要性权重和 roofline 上限。评估 6 个前沿编码 agent，最佳模型仅达约 10% 硬件 roofline，且多数通过率来自 PyTorch 回退而非自写内核。同时发布 Atrex-Kernel-Agent (AKA)，一个结合迭代测量修订搜索、优化 dropout 和分层知识库的内核优化代理，在案例中将零 FlyDSL 回退转换为匹配或超过手工调优生产基线的真实内核。

此前 GPU 内核生成基准多使用合成问题，与真实部署脱节；Atrex-Bench 首次直接采样生产轨迹，更准确反映实际瓶颈。结果说明即使最先进 LLM 编码 agent 生成的内核性能极差，但 AKA 优化代理能自动将回退转化为高效内核，弥补了生成与生产之间的鸿沟。

Atrex-Bench 通过硬件 roofline 和实际 GPU 时间权重，迫使评测聚焦于生产中最耗时的内核。AKA 利用迭代测量修订避免局部最优，优化 dropout 跳出停滞搜索，分层知识库（298 个参考内核文件、244 个优化文档及外部 API/ISA 参考）提供结构化知识，使代理能针对 profile 结果逐步改进。

对使用 LLM 自动生成 GPU 内核的产品团队而言，当前模型生成的内核远未达到生产水平，直接依赖将导致性能损失。但 AKA 式的优化代理可自动化内核调优流程，降低人工编写高性能内核的成本，尤其适合推理服务中频繁调用的热点算子。

• 将 AKA 的迭代优化流程集成到内部 GPU 内核开发工具链中，替代部分手工调优工作
• 利用 Atrex-Bench 的权重机制从自家生产日志中生成定制基准，评估 LLM 编码 agent 的实际效果
• 借鉴优化 dropout 和分层知识库设计，构建适用于其他硬件（如 NPU、FPGA）的自动化内核优化系统

• AKA 在更多算子和形状（除案例中的 FlyDSL 回退外）上的表现如何？
• 优化 dropout 的具体机制和效果边界是否已充分验证？
• 这些基准和优化方法能否推广到训练阶段的 GPU 内核？
• Atrex-Bench 的采样方法能否代表不同规模集群的多样负载？