覆盖 GQA / FlashAttention / PagedAttention / MoE / 量化 / 分布式通信,3 道题持续更新。
什么是投机解码(Speculative Decoding)?为什么能加速且不损失质量?
Speculative Decoding 中 draft model 如何选择?draft 长度 k 如何权衡?
Triton 相比手写 CUDA 有什么优势?为什么很多推理 kernel 用 Triton 写?