向量处理器上实现Roofline性能的稀疏张量收缩方法

Ventaglio是一种运行时配置的稀疏执行单元，结合RVV ISA扩展，通过索引收集-累加-分散硬件支持，使稀疏张量收缩接近理论峰值。在12nm FinFET中实现，面积开销仅3.1%，相比优化RVV基线加速6.9-7.4倍；在DuoGPT剪枝的LLaMA-3-8B模型（40-60%稀疏度）上，预填充和解码分别加速2.40-5.25倍和2.06-3.16倍。

此前向量处理器缺乏细粒度稀疏张量收缩的原生硬件支持，软件方法远低于理论性能。Ventaglio首次以极低面积开销（3.1%）实现接近理论峰值的加速，且兼容现有RVV体系，为Transformer稀疏推理提供高效、可落地的硬件方案。

Ventaglio通过硬件实现索引收集-累加-散射（gather-accumulate-scatter）原子操作，避免软件索引解码和L1后备索引内存的瓶颈，使稀疏运算接近roofline极限。其运行时配置能力适应不同稀疏模式，并通过开源向量处理集群验证。

若集成到RISC-V向量处理器中，可显著加速稀疏Transformer推理，降低延迟和能耗；尤其适用于边缘设备或需要剪枝模型的大规模部署，可能减少硬件成本或提升吞吐量。但需验证实际产品化难度和标准兼容性。

• 在RISC-V向量处理器芯片中集成Ventaglio扩展，为边缘AI推理提供专用加速硬件
• 与剪枝工具（如DuoGPT）结合，形成端到端稀疏推理方案，提升模型部署效率
• 针对Transformer预填充和解码阶段优化，开发稀疏推理SDK或库，降低开发者门槛

• Ventaglio是否支持非结构化剪枝或极低稀疏度（<40%）场景？
• 该设计与现有RVV标准的具体兼容性如何？是否需要修改指令集？
• 是否有开源RTL或仿真模型可供社区评估和复现？
• 在浮点精度或混合精度场景下的性能表现如何？