覆盖 GQA / FlashAttention / PagedAttention / MoE / 量化 / 分布式通信，4 道题持续更新。
什么是 KV Cache？为什么推理时需要它？
KV Cache 的显存占用如何估算？
长上下文推理时 KV Cache 爆显存，有哪些压缩/优化手段？
Attention Sink 现象是什么？StreamingLLM 如何利用它？