ALL WRITING

文章归档

共 44 篇公开文章。选择系列，或搜索标题与标签。

显示全部文章

  1. 推理框架完整项目目录

    按模块查看完整项目目录与已公开的核心文档。

    从零实现 vLLM ·
  2. KV Cache 与分页管理设计

    为什么只缓存 K/V，如何用页池、页表与清晰的模块边界管理缓存。

    从零实现 vLLM ·
  3. Continuous Batching 与 Chunked Prefill

    从单请求走向动态组批，理解调度粒度、请求生命周期与资源回收。

    从零实现 vLLM ·
  4. 从标准 Attention 到 FlashAttention 与分页执行

    串联分块、online softmax、变长接口与分页 KV 读取。

    从零实现 vLLM ·
  5. 算子融合：RMSNorm、GEMM 与 SwiGLU

    分析合并计算与减少显存读写的收益，以及不同形状下的差别。

    从零实现 vLLM ·
  6. ZOS 异步调度的实现与效果

    我们把下一轮的输入准备与 GPU 计算重叠起来，并用两个模型的实测观察收益。

    从零实现 vLLM ·
  7. 单机硬件与 GPU 互联

    从卡数、异构性、NVLink、PCIe 与 NUMA 理解多卡机器。

    从零实现 vLLM ·
  8. MoE 概述：从条件计算到 Qwen3-MoE

    从稀疏路由与专家结构理解总参数、激活参数和推理计算。

    从零实现 vLLM ·
  9. 训练预算：算力、时间与费用

    用 GPU-hours 和短时试跑，将训练规模转化为可执行的预算。

    dzyy-training 分布式训练 ·
  10. 数据并行的前世今生

    复制模型能提高吞吐，为什么加卡仍会 OOM？从 DDP 的显存冗余到 ZeRO、FSDP 的通信代价，讲清数据并行的优势与瓶颈。

    dzyy-training 分布式训练 ·
  11. 4 卡真实性能对比：DP / TP / PP / CP

    在同一台四卡机器与统一负载下比较吞吐、步时和峰值显存。

    dzyy-training 分布式训练 ·
  12. 流水线并行：从 GPipe 到 1F1B 与 Zero Bubble

    围绕切层、微批、气泡和激活生命周期理解流水线调度。

    dzyy-training 分布式训练 ·
  13. Attention 实现

    如何在模型中实现Attention算子

    从零实现 vLLM ·
  14. Sampler 采样器

    如何在模型中实现Sampler

    从零实现 vLLM ·
  15. 激活函数与 SwiGLU

    从relu一路讲到swiglu

    从零实现 vLLM ·
  16. Engine 推理引擎

    如何让模型跑起来

    从零实现 vLLM ·
  17. RoPE 位置编码

    如何在模型中快速实现旋转编码

    从零实现 vLLM ·
  18. RMSNorm 实现

    如何在模型中快速实现RMSNorm

    从零实现 vLLM ·
  19. 模型权重加载

    掌握高效的模型加载方案

    从零实现 vLLM ·
  20. V0：最小自回归推理

    弄清楚dzyy-vLLM v0版本的整体架构设计

    从零实现 vLLM ·
  21. 大模型基础概述

    一文扫清大模型基本概念

    从零实现 vLLM ·
  22. 推理引擎版本路线

    从最小生成到缓存、调度与并行，理解推理引擎的分层学习路线与当前试读范围。

    从零实现 vLLM ·
  23. Attention：原理与模型结构
    CUDA 学习之路 ·
  24. Normalization：实现与优化

    BN、LN、RMS的CUDA、Triton以及Pytorch实现

    CUDA 学习之路 ·
  25. Conv：卷积原理与实现
    CUDA 学习之路 ·
  26. GEMM：矩阵乘法与优化
    CUDA 学习之路 ·
  27. Normalization：原理与方法

    详细梳理Normalization方法的发展脉络、数学原理与设计动机，以及CUDA、Triton与Pytorch实现

    CUDA 学习之路 ·
  28. Scan：并行前缀和
    CUDA 学习之路 ·
  29. Softmax：原理与优化

    详细总结Softmax的概念及其所有的优化版本（预计万字）

    CUDA 学习之路 ·
  30. 规约与点积练习

    总结LeetGPU中所有和Reduce算子相关的内容

    LeetGPU 算子练习 ·
  31. Reduce：CUB 源码解析

    学习Nvidia提供的CUB仓库，学会如何看懂代码

    CUDA 学习之路 ·
  32. Reduce：实现与优化

    从串行求和到GPU并行规约，逐层剥开取模优化、访存优化、常量展开等优化技术。新手也能看懂的规约算法全景图。

    CUDA 学习之路 ·
  33. Element-wise：OneFlow 源码解析

    从架构师的角度来拆解Oneflow的element wise算子设计。如何只用200行就解决访存瓶颈？

    CUDA 学习之路 ·
  34. 颜色反转练习
    LeetGPU 算子练习 ·
  35. 矩阵拷贝练习
    LeetGPU 算子练习 ·
  36. 矩阵加法练习
    LeetGPU 算子练习 ·
  37. PyTorch CUDA 扩展与算子接入

    从零掌握在 PyTorch 中调用 CUDA 代码的多种方式，理解 JIT 编译与预编译的权衡，并深入整合自动微分。

    CUDA 学习之路 ·
  38. Element-wise：原理与实现

    最基础的一系列算子：element-wise。

    CUDA 学习之路 ·
  39. Triton 编程模型与开发流程

    学习并掌握Triton的模板代码

    Triton 学习之路 ·
  40. CUDA 线程索引与坐标映射

    从一维到三维，彻底理清CUDA线程索引的映射逻辑。

    CUDA 学习之路 ·
  41. GPU 架构与 CUDA 编程模型

    深入拆解 GPU 硬件架构本源，厘清 CUDA 全栈体系，搞懂并行计算的核心范式与 GPU 的适配边界，为高性能 CUDA 开发打下底层基础

    CUDA 学习之路 ·
  42. C/C++ 编程基础

    你学Java/Python忽视的知识点，反而是在CUDA编程中最需要的。

    CUDA 学习之路 ·
  43. CUDA 开发环境搭建

    如果说深度学习是星辰大海，那环境配置就是暗礁浅滩。我不允许你永远在入门！

    CUDA 学习之路 ·
  44. GPU 算子开发概览

    你在什么时候才会用到CUDA呢？

    CUDA 学习之路 ·