高频面试真题

什么是 KV Cache？为什么推理时需要它？

KV Cache 的显存占用如何估算？

MHA、MQA、GQA 有什么区别？为什么现在主流用 GQA？

FlashAttention 的核心思想是什么？它优化了什么？

PagedAttention 解决了什么问题？原理是什么？

什么是 Continuous Batching（连续批处理）？相比静态批处理有何优势？

Prefill 和 Decode 两个阶段有什么本质区别？分别是 compute-bound 还是 memory-bound？

什么是投机解码（Speculative Decoding）？为什么能加速且不损失质量？

权重量化 GPTQ 和 AWQ 有什么区别？

W8A8、W4A16、W4A8KV4 这些量化配置分别是什么含义？

张量并行（TP）、流水线并行（PP）、专家并行（EP）分别是什么？

什么是 Prefix Caching / 前缀缓存？在什么场景收益大？

TTFT、TPOT、吞吐量分别衡量什么？它们之间如何权衡？

为什么说 LLM 解码阶段是 memory-bound？如何提升算术强度？

MoE 模型推理有哪些特有的挑战？

Chunked Prefill 是什么？解决了什么问题？

长上下文推理时 KV Cache 爆显存，有哪些压缩/优化手段？

为什么 Softmax 需要做数值稳定处理（减去最大值）？

RoPE（旋转位置编码）是什么？为什么利于长上下文外推？

SmoothQuant 解决了激活量化的什么难题？