推理框架完整项目目录
按模块查看完整项目目录与已公开的核心文档。
完整项目按模块列在下方，公开文章见「课程文档（部分）」。
| 模块 | 主要内容 | 公开文档 |
|---|---|---|
| V0 · 模型搭建与自回归生成 | 模型组件、权重加载、采样与生成循环 | V0 全部文档 |
| V1 · KV Cache 与前缀复用 | 分页缓存、页池、Hash / Radix 前缀复用 | KV Cache 与分页管理设计 |
| V2 · 请求调度与连续批处理 | Continuous Batching、Chunked Prefill、调度与回收 | Continuous Batching 与 Chunked Prefill |
| V3 · 推理性能优化 | Attention、算子融合、ZOS 异步调度、输入管线与执行优化 | 算子融合：RMSNorm、GEMM 与 SwiGLU 从标准 Attention 到 FlashAttention 与分页执行 ZOS 异步调度的实现与效果 |
| V4 · 多卡并行推理 | 硬件互联、通信测量、DP / TP / PP 与权重分片 | 单机硬件与 GPU 互联 |
| V5 · MoE 路由与专家并行 | 专家路由、融合计算、专家并行与权重加载 | MoE 概述：从条件计算到 Qwen3-MoE |