🎯 AI Infra 面试题库
高频面试真题
覆盖 GQA / FlashAttention / PagedAttention / MoE / 量化 / 分布式通信，29 道题持续更新。
212223242526272829
困难decoding解码策略投机解码面试高频
为什么大 batch 下投机解码收益会下降？
4 0 0
困难系统设计系统设计推理系统PD分离
Prefill/Decode 分离（Disaggregation）架构的动机和挑战是什么？
5 0 0
困难系统设计系统设计推理系统Mooncake
Mooncake 的以 KV Cache 为中心的架构有什么特点？
6 0 0
困难serving推理系统RadixAttentionSGLang
RadixAttention（SGLang）相比 vLLM 的 prefix caching 有什么不同？
4 0 0
困难量化量化面试高频NVIDIA
量化中的 per-tensor、per-channel、per-token、per-group 量化粒度有何区别？
6 0 0
困难量化量化KV CacheKIVI
KV Cache 量化中为什么 Key 比 Value 更难量化 / 更敏感？
4 0 0
困难推理系统推理系统Roofline面试高频
什么是 arithmetic intensity（算术强度）？如何用 Roofline 模型分析 LLM 推理？
6 0 0
困难MoEMoECUDA算子优化
什么是 Grouped GEMM？为什么 MoE 推理需要它？
4 0 0
困难系统设计系统设计负载均衡面试高频
在线服务中如何做 LLM 的负载均衡？为什么简单轮询不够？
6 0 0