Awesome AI Infra

206 字
1 分钟
Awesome AI Infra

优秀github仓库/博客#

大模型知识分享 | AIInfraGuide | AI Infra Pub

实用算子内核库#

Dao-AILab/flash-attention 23K star vLLM/SGLang 等推理框架的默认后端之一
flashinfer-ai/flashinfer 覆盖 Prefill/Decode/MLA/稀疏 Attention + 分页 KV Cache,vLLM/SGLang 默认后端之一
NVIDIA/cutlassHopper/Blackwell 上 Tensor Core 的最优实现,Split-K/Stream-K/Grouped GEMM 都源于此
tile-ai/tilelang 基于 TVM 的 Python DSL,用 Tile 编程写出逼近手写 CUDA 性能的 Kernel,DeepSeek TileKernels 全库用它实现
HazyResearch/ThunderKittens 头文件库,FlashAttention 前向比 FA2 快 ~30%
deepseek-ai/TileKernels 完全用 TileLang 写的 DeepSeek 生产内核:MoE 路由、FP8/FP4 量化、MLA 解码,全部逼近硬件极限

CUDA系列#

框架类#

性能分析工具#

知乎大神#

reed-从科学计算到高性能计算系统

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或赞助支持!

赞助
Awesome AI Infra
https://dlog.com.cn/posts/awesomeinfra/awesome/
作者
杜子源
发布于
2026-07-09
许可协议
CC BY-NC-SA 4.0
最后更新于 2026-07-09,距今已过 69 天

部分内容可能已过时

Profile Image of the Author
杜子源
都是风景,幸会
公告
如需vLLM项目,请点击赞助第一个二维码并备注github邮箱,或者加我Q:402555241私发我截图
音乐
封面

音乐

暂未播放

0:00 0:00
暂无歌词
分类
标签
站点统计
文章
39
分类
9
标签
15
总字数
123,754
运行时长
0 天
最后活动
0 天前

目录