稀疏矩阵和稠密矩阵乘法运算SpMM(Sparse Matrix-Matrix Multiplication)在图神经网络、稀疏线性代数求解器、科学计算仿真等领域广泛应用。
当前Tensor Core是GPU上矩阵计算的核心单元。为了解决Tensor Core上稀疏矩阵存储开销大、访存模式不规则、数据加载和计算掩盖不充分等问题,中心研发了Acc-SpMM算法库,并设计了系统化的优化策略,包括新的稀疏矩阵压缩存储格式、数据重排算法、流水线和自适应负载均衡算法。实验证明 Acc-SpMM 在多类数据集上性能高于cuSPARSE。该成果被并行编程原理与实践会议ACM SIGPLAN Annual Symposium Principles and Practice of Parallel Programming(PPoPP 25,CCF 推荐 A 类会议)录用。该成果得到国家重点研发计划(2023YFB3002100)和中国科学院先导专项(XDB0500103)的支持。
The overview of Acc-SpMM
稀疏矩阵重排
论文第一作者为我中心硕士研究生赵海杉,指导老师为我中心周纯葆研究员,通信作者为我中心王珏正高级工程师,硕士研究生李三为共同一作。
相关成果:
Haisha Zhao, San Li, Jiaheng Wang, Chunbao Zhou, Jue Wang, Zhikuang Xin, Shunde Li, Zhiqiang Liang, Zhijie Pan, Fang Liu, Yan Zeng, Yangang Wang. Acc-SpMM: Accelerating General-purpose Sparse Matrix-Matrix Multiplication with GPU Tensor Cores, ACM SIGPLAN Annual Symposium Principles and Practice of Parallel Programming; PPoPP’25.
责任编辑:郎杨琴