Speculative Decoding 中 draft model 如何选择？draft 长度 k 如何权衡？

参考答案

**draft model 选择原则**： - 与 target 同分词器、同词表（否则无法对齐验证）。 - 足够小、足够快（draft 前向要远快于 target），但又不能太差（太差则接受率低）。 - 常见做法：同系列的小模型（如 Llama-70B 配 Llama-7B/1B）、或用 target 自身蒸馏的轻量 draft、或 Medusa/Eagle 这类在 target 上加轻量预测头（免独立模型）。 **draft 长度 k 的权衡**： - k 越大，一次 target 前向可能产出越多 token（上界 k+1），但 draft 生成 k 个的成本也线性增加，且越靠后的候选越可能被拒（前面拒了后面全废）。 - k 太小则摊薄权重读取的收益不足。 - 最优 k 取决于接受率 α：接受率高（任务可预测、draft 好）时用大 k；接受率低时用小 k。实践中常自适应调整 k。 **加速比公式（近似）**：期望每轮接受的 token 数 ≈ (1−α^{k+1})/(1−α)，除以一轮的成本（draft k 次 + target 1 次）得到有效加速。 **Eagle/Medusa 改进**：用树状候选（tree attention）一次验证多条路径，提高单轮接受 token 数。