为什么 LLM 推理常常是显存带宽瓶颈而非算力瓶颈？这对硬件选型有什么启示？

参考答案

**为什么带宽瓶颈**： - LLM 推理的主体是 decode 阶段（生成远长于输入时更是如此），decode 每步是矩阵-向量乘，算术强度极低（memory-bound）。 - 每生成一个 token，都要把整个模型权重 + KV Cache 从 HBM 读一遍，而计算量很小。 - 所以瓶颈是"把权重和 KV 读进来"的显存带宽，而非算力。GPU 强大的 Tensor Core 在 decode 时大量闲置。 **对硬件选型的启示**： 1. **看重显存带宽**：同代卡里带宽更高的更适合 decode 密集型推理（如 H200 相比 H100 带宽大增，推理吞吐提升明显）。 2. **显存容量**：决定能放多大模型、多长上下文、多大 batch（KV Cache）。容量不足要么量化要么多卡。 3. **算力（FLOPs）在 prefill / 大 batch 时才重要**：prefill 密集或高并发（大 batch 转 compute-bound）场景才吃算力和低精度 Tensor Core（FP8）。 4. **性价比权衡**：纯 decode 场景买超高算力卡浪费；应平衡带宽、容量、算力。 5. **互联带宽**：多卡 TP 依赖 NVLink，选型要看卡间互联。 **优化呼应**：正因带宽瓶颈，量化（减少读的字节）、大 batch（摊薄权重读取）、GQA/KV 量化（减少 KV 读取）才如此有效。