如果让你把一个 70B 模型部署到 2 张 A100 80G 上，你会怎么做？

参考答案

这是实践型系统题，可按"显存核算 → 并行/量化选型 → 服务配置"展开： **1. 显存核算**： - 70B 模型 FP16 权重 ≈ 140GB，2×80G=160GB 显存，权重就占 140GB，几乎没有 KV Cache 余量 → 直接 FP16 + TP2 勉强放下但并发极低。 - 结论：需要量化。 **2. 方案选型**： - **量化到 4-bit（AWQ/GPTQ，W4A16）**：权重降到约 35GB，单卡 80G 甚至能放下，2 卡 TP 后有大量显存留给 KV Cache，支撑较高并发。这是性价比最高的方案。 - **张量并行 TP=2**：机内 A100 有 NVLink，TP 通信开销可接受，降低单卡显存和延迟。 - 若追求精度不量化，则 FP16 + TP2，但 KV Cache 余量小，并发低、只能短上下文。 **3. 服务配置**： - 用 vLLM，`--tensor-parallel-size 2`，`--quantization awq`。 - `--gpu-memory-utilization 0.95` 给 KV 池最大空间。 - 按上下文长度设 `--max-model-len`，按并发设 `--max-num-seqs`。 - 开连续批处理（默认）、按需开 chunked prefill 和 prefix caching。 **4. 验证**：压测 TTFT/TPOT/吞吐，观察 `gpu_cache_usage` 和抢占次数，调参到满足 SLO。 回答时先算显存账，再权衡"量化省显存换并发"与"不量化保精度"，体现工程判断。