矩阵乘（GEMM）具有计算密度大和易并行等优良特点，传统领域例如芯片产业和高性能计算领域往往将 GEMM 作为 benchmark 并已经将其优化到接近硬件理论峰值。 为了获得更好的性能收益，im2col 算法将 GEMM 带进了卷积神经网络的工程优化领域。Implicit GEMM 算法进一步解决了 im2col 固有的多余显存占用和冗余的前后处理问题，这在存储受限的硬件例如 GPU 上尤为重要，使得 GEMM 在卷积优化中的重要性进一步提升。加之硬件厂商也开始越来越多的对矩阵乘提供硬件支持，例如各种 MMA 指令和 TensorCore 的加入，这些原因共同促使现有很多优化算法库已经将 im2col/Implicit GEMM 作为其默认的卷积优化方案。矩阵乘（GEMM）具有计算密度大和易并行等优良特点，传统领域例如芯片产业和高性能计算
阅读背景：
实录 | MegEngine 大 Kernel 卷积工程优化实践
来源：互联网
分享到：
