市面上讲解Transformer架构的博客、视频、书籍实在是太多了，我不敢保证自己真的能够讲的比这些大牛都优秀，只能说尽量把我对于Transformer的全部理解都写在这一个系列博客中。

完整的代码仓库在这里，希望对大家有所帮助和收获，希望大家多多Star！

无论是卷积层、全连接层还是注意力计算，最终都会归因到矩阵运算。 无论是C语言还是CUDA亦或者是numpy、pytorch，都有一大堆针对矩阵运算来进行优化的库，这也是我们AI Infra真正意义上的起点，跟随着我的视角，我们来完整的体会一下是如何优化的。

Scan 又称为Prefix Sum，是并行计算中最基础也最重要的collective原语之一。