让AI充当编译器：不依赖Triton编译器直接编译Triton内核

一篇 arXiv 论文提出“AI lowering”，即用大模型替代传统编译器的优化与降级流水线。研究者构建了可评估候选 PTX 的环境和 LLM 代理框架，把 Triton 内核直接翻译为 NVIDIA PTX。在 Ada、Hopper、Blackwell 三类 GPU 上的 12 个常见内核和 10 个近期 ML 论文内核中，该方法性能为自动调优 Triton 的 0.83x 至 3.34x；最高增益来自 Triton 降级流水线未执行的转换，如把打包二进制权重直接解码为 Tensor Core 操作数（BitDelta 上 3.34x）。团队还基于 Volta 验证器扩展出对 Blackwell tcgen05 接口的支持。

此前编译器后端需为每种编程模型、负载和加速器单独构建与维护，成本高。该工作把 LLM 直接放在降级环节，绕开 Triton 编译器，并给出跨三代 NVIDIA GPU 的实测性能对比，说明大模型可以在局部场景中完成原本由编译器承担的优化转换，且性能可超过自动调优基线。

机制在于用 LLM 代理直接生成 PTX，并用可运行评估环境对候选代码进行验证与筛选。性能增益主要来自传统降级流水线不做的变换：直接解码打包二进制权重到 Tensor Core 操作数、为每个线程分配完整 softmax 行到 tensor memory、复用重叠卷积窗口。验证依赖对 Volta 的扩展，需建模受管 tensor memory、基于描述符的操作数布局，以及由 commit、wait、内存屏障和 proxy fence 协调的异步执行。

对研发而言，内核开发可能从修改 Triton 代码转向用自然语言或示例引导 LLM 生成 PTX，并依赖验证框架保证正确性。对成本的影响取决于验证与评估开销是否低于维护编译器后端；证据未给出该对比。对产品而言，特定内核可获得 1.37x 至 3.34x 的性能提升，但整体吞吐区间为 0.83x 至 3.34x，说明并非所有内核都能获益。

• 为使用 Triton 的推理或训练团队搭建 AI lowering 实验管线，优先在 BitDelta、FlashAttention 和卷积类内核上验证收益。
• 将 PTX 验证器作为内部工具接入 CI，对 LLM 生成的内核做自动正确性校验与性能回归对比。
• 针对打包二进制权重解码、softmax 行分配和重叠卷积窗口等转换，沉淀可复用的提示与测试用例库。
• 在采购或自研 GPU 内核时，把自动调优 Triton 作为基线，评估哪些内核适合改用 AI lowering。

• 论文只给出性能区间，未说明正确性验证通过率和失败模式分布。
• 未说明 AI lowering 在推理与生产工作负载中的稳定性、延迟波动和长期维护成本。
• Volta 扩展对 Blackwell tcgen05 的支持存在哪些当前限制，论文仅提及尚未展开。
• 该方法是否适用于 NVIDIA 之外的加速器，证据中没有涉及。