从 CUDA 基础到推理系统专家,8 个阶段、循序渐进,每步都有源码可读、有题可练。
理解 GPU 架构、线程/Block/Grid、内存模型,写第一个 kernel
高性能 GEMM 模板库,学习 GPU Tensor Core 编程范式
OpenAI Triton 编译器,用 Python 写高效 GPU kernel
重新计算替代显存换时间,理解 IO-aware 算法设计
PagedAttention、Continuous Batching、KV Cache 管理
RadixAttention、结构化生成、高效调度系统
TP/PP/EP 并行策略、量化(GPTQ/AWQ/FP8)、服务化部署
深入 MoE、DeepEP、跨节点通信优化,成为系统级专家