无论是卷积层、全连接层还是注意力计算，最终都会归因到矩阵运算(General Matrix Multiply)。 无论是C语言还是CUDA亦或者是numpy、pytorch，都有一大堆针对矩阵运算来进行优化的库，这也是我们AI Infra真正意义上的起点，跟随着我的视角，我们来完整的体会一下是如何优化的。

Scan 又称为Prefix Sum，是并行计算中最基础也最重要的collective原语之一。