覆盖 GQA / FlashAttention / PagedAttention / MoE / 量化 / 分布式通信,4 道题持续更新。
什么是 KV Cache?为什么推理时需要它?
FlashAttention 的核心思想是什么?它优化了什么?
Chunked Prefill 是什么?解决了什么问题?
算子融合(Kernel Fusion)为什么能提速?举几个 LLM 中的例子。