市面上讲解Transformer架构的博客、视频、书籍实在是太多了，我不敢保证自己真的能够讲的比这些大牛都优秀，只能说尽量把我对于Transformer的全部理解都写在这一个系列博客中。

完整的代码仓库在这里，希望对大家有所帮助和收获，希望大家多多Star！

无论是卷积层、全连接层还是注意力计算，最终都会归因到矩阵运算。 无论是C语言还是CUDA亦或者是numpy、pytorch，都有一大堆针对矩阵运算来进行优化的库，这也是我们AI Infra真正意义上的起点，跟随着我的视角，我们来完整的体会一下是如何优化的。

Scan 又称为Prefix Sum，是并行计算中最基础也最重要的collective原语之一。

题目描述给定一张图像的 RGBA 数据，以一维数组形式存储。每个像素由四个 8 位无符号整数（unsigned char）组成，依次为 R（红）、G（绿）、B（蓝）、A（透明度）。颜色反转的规则：将每个像素的 R、G、B 分量用 255 减去原值，A 分量保持不变。数组 image 的长度为 width * height * 4，依次存放所有像素的 RGBA 值（左上角像素为前 4 个元素）。