覆盖 GQA / FlashAttention / PagedAttention / MoE / 量化 / 分布式通信，3 道题持续更新。
张量并行（TP）、流水线并行（PP）、专家并行（EP）分别是什么？
Tensor 并行中的 all-reduce 通信在什么位置发生？为什么 TP 通常限制在单机内？
流水线并行的 bubble（气泡）是什么？如何减少？