SparseDitto：基于 LLM 的智能体系统，为不同稀疏模式定制 GPU 内核

arXiv 论文提出 SparseDitto，一个基于 LLM 的智能体系统，可为不同稀疏模式的矩阵在目标 GPU 上自动生成定制内核。支持 SpMV、SpMM 和 SpGEMM，在 NVIDIA RTX PRO 6000 上相比 cuSPARSE 平均加速 2.68 倍，最大 146.61 倍；在 H200 上平均加速 2.79 倍，最大 78.5 倍。其 SpMM 内核将 GCN 全批次训练加速最高 3.39 倍。

研究揭示 cuSPARSE 在 CSR 与 Blocked-ELL 格式间存在 350 倍性能差距，且没有单一实现能主导所有稀疏模式。SparseDitto 利用 LLM 自动生成定制内核，显著提升稀疏矩阵运算性能，可能改变科学计算、图分析和机器学习中内核优化依赖人工经验的现状。

SparseDitto 采用轻量级加性模型，根据输入矩阵的结构特征排序已建立的策略；架构感知规划器提出候选设计；编码和验证智能体利用目标 GPU 实测数据实现并优化内核。这一流水线使系统能针对每个矩阵、算子和 GPU 自适应选择表示、执行策略和硬件映射，从而超越通用库的固定实现。

对依赖稀疏运算的产品（如 GNN 训练、科学计算软件）可显著提升性能，降低计算成本。用户无需手动调整内核，自动化定制能加速算法迭代。但需要 LLM 推理与编译开销，实际部署需评估延迟和资源消耗。

• 评估将 SparseDitto 集成到 GNN 训练框架，以加速全批次 GCN 训练，目标提升 3 倍以上。
• 为内部稀疏矩阵库提供基于 LLM 的内核自动生成服务，替代人工手写内核，降低优化成本。
• 针对特定 GPU（如 H200）预生成常见稀疏模式的内核版本，作为云服务提供，方便用户调用。

• SparseDitto 生成内核的编译时间和额外开销是否可控，在实际生产环境中的性价比如何？
• 对于超大规模矩阵或复杂稀疏模式，LLM 智能体的准确性和稳定性能否保证？
• 该研究是否已开源或提供可复现的评测代码，独立验证尚未完成。