Awesome AI Infra
206 字
1 分钟
Awesome AI Infra
优秀github仓库/博客
实用算子内核库
Dao-AILab/flash-attention 23K star vLLM/SGLang 等推理框架的默认后端之一
flashinfer-ai/flashinfer 覆盖 Prefill/Decode/MLA/稀疏 Attention + 分页 KV Cache,vLLM/SGLang 默认后端之一
NVIDIA/cutlassHopper/Blackwell 上 Tensor Core 的最优实现,Split-K/Stream-K/Grouped GEMM 都源于此
tile-ai/tilelang 基于 TVM 的 Python DSL,用 Tile 编程写出逼近手写 CUDA 性能的 Kernel,DeepSeek TileKernels 全库用它实现
HazyResearch/ThunderKittens 头文件库,FlashAttention 前向比 FA2 快 ~30%
deepseek-ai/TileKernels 完全用 TileLang 写的 DeepSeek 生产内核:MoE 路由、FP8/FP4 量化、MLA 解码,全部逼近硬件极限
CUDA系列
框架类
性能分析工具
知乎大神
支持与分享
如果这篇文章对你有帮助,欢迎分享给更多人或赞助支持!
Awesome AI Infra
https://dlog.com.cn/posts/awesomeinfra/awesome/ 最后更新于 2026-07-09,距今已过 69 天
部分内容可能已过时