如何设计一个高并发、低延迟的 LLM 在线推理服务？

参考答案

这是系统设计题，可按分层展开： **1. 接入与调度层**： - 负载均衡（token 感知，而非简单轮询，避免长请求打爆单实例）。 - 请求队列 + 优先级（区分在线交互 vs 离线批量）。 - 按 SLO（TTFT/TPOT p99）做准入控制和限流。 **2. 推理引擎层**： - 用 vLLM/SGLang/TensorRT-LLM，开启连续批处理 + PagedAttention。 - Chunked Prefill 平衡 TTFT/TPOT；Prefix Caching 复用共享前缀。 - 视规模用 TP（机内）+ PP（机间）；MoE 加 EP。 - 可做 Prefill/Decode 分离，分别按各自负载扩容。 **3. 模型与显存优化**： - 量化（W4A16 或 W8A8/FP8）省显存提吞吐。 - GQA、KV 量化控制长上下文 KV Cache。 **4. 弹性与成本**： - 按 QPS 自动扩缩容；冷启动预热（权重加载慢）。 - 多模型路由：简单请求走小模型，难的走大模型，降成本。 **5. 可观测性**： - 监控 TTFT/TPOT/吞吐/`gpu_cache_usage`/抢占次数/排队时长。 - 灰度、A/B、熔断降级。 **回答技巧**：先问清 QPS、延迟 SLO、上下文长度、是否共享 prompt，再针对性给方案，体现系统视角。