高频面试真题

KV Cache 的显存占用如何估算？

MHA、MQA、GQA 有什么区别？为什么现在主流用 GQA？

FlashAttention 的核心思想是什么？它优化了什么？

PagedAttention 解决了什么问题？原理是什么？

什么是 Continuous Batching（连续批处理）？相比静态批处理有何优势？

什么是 Prefix Caching / 前缀缓存？在什么场景收益大？

TTFT、TPOT、吞吐量分别衡量什么？它们之间如何权衡？

为什么 Softmax 需要做数值稳定处理（减去最大值）？

RoPE（旋转位置编码）是什么？为什么利于长上下文外推？

FP8 推理相比 INT8 有什么优势？为什么 2026 年越来越流行？

解码采样中 temperature、top-k、top-p（nucleus）分别控制什么？

CUDA 中 warp、block、grid、SM 的关系是什么？

CUDA 中 Global Memory、Shared Memory、Register 的区别？为什么 kernel 优化要关注它们？

算子融合（Kernel Fusion）为什么能提速？举几个 LLM 中的例子。

Triton 相比手写 CUDA 有什么优势？为什么很多推理 kernel 用 Triton 写？

Continuous Batching 下，如何设置 max-num-seqs 和 max-num-batched-tokens？

gpu-memory-utilization 参数设置为什么不能设成 1.0？

BF16 和 FP16 有什么区别？训练/推理中如何选择？

为什么 LLM 推理常常是显存带宽瓶颈而非算力瓶颈？这对硬件选型有什么启示？

如何评估一个量化方案的好坏？会看哪些指标？