🎯 AI Infra 面试题库
高频面试真题
覆盖 GQA / FlashAttention / PagedAttention / MoE / 量化 / 分布式通信，8 道题持续更新。
0102030405060708
简单kv-cacheKV Cache字节跳动腾讯
什么是 KV Cache？为什么推理时需要它？
13 0 0
中等AttentionAttentionGQAMQA
MHA、MQA、GQA 有什么区别？为什么现在主流用 GQA？
11 0 0
中等serving推理系统PagedAttentionvLLM
PagedAttention 解决了什么问题？原理是什么？
8 0 0
中等推理系统推理系统性能指标面试高频
TTFT、TPOT、吞吐量分别衡量什么？它们之间如何权衡？
9 0 0
困难serving推理系统vLLM面试高频
vLLM 中一个请求被"抢占"（preemption）是怎么回事？如何缓解？
5 0 0
困难系统设计系统设计推理系统面试高频
如何设计一个高并发、低延迟的 LLM 在线推理服务？
7 0 0
困难decoding解码策略投机解码面试高频
为什么大 batch 下投机解码收益会下降？
4 0 0
困难系统设计系统设计负载均衡面试高频
在线服务中如何做 LLM 的负载均衡？为什么简单轮询不够？
6 0 0