为什么大 batch 下投机解码收益会下降？

参考答案

投机解码的加速来源是：解码阶段 memory-bound，一次 target 前向验证多个 token 几乎不增加访存成本，从而摊薄权重读取。这个前提在大 batch 下被打破。 **原因**： 1. **大 batch 已让 GPU 从 memory-bound 转向 compute-bound**：batch 越大，一次前向要算的 FLOPs 越多（每个序列都要算），算力逐渐成为瓶颈。此时"验证多个 token"不再是"免费搭车"，而是实打实增加计算量。 2. **投机解码增加了额外计算**：draft 生成 + target 验证 k 个 token（对整个 batch），在 compute-bound 区这些额外计算直接拖慢。 3. **接受率的不确定性**：batch 内不同序列接受情况不同，被拒的候选浪费的算力在 compute-bound 下代价更高。 **结论**： - 低并发 / 小 batch / 延迟敏感场景：投机解码收益大（典型 2-4×）。 - 高并发 / 大 batch / 吞吐优先场景：GPU 本就被大 batch 喂饱，投机解码收益递减甚至变负。 - 实践中常按负载动态决定是否启用投机解码（低负载开、高负载关）。