Medusa 和 Eagle 相比传统投机解码有什么改进？

参考答案

传统投机解码需要一个独立的 draft model，带来部署复杂度和显存开销。Medusa 和 Eagle 都试图去掉独立 draft model。 **Medusa**： - 在 target model 最后一层之上加多个轻量的"Medusa 头"，每个头预测未来第 i 个位置的 token。 - 一次前向同时产出多个位置的候选，无需独立 draft model。 - 用 tree attention 构造候选树，一次验证多条路径，取最长可接受前缀。 - 训练只需微调这些头，代价小。 **Eagle**： - 观察到直接预测 token 不确定性大，改为在**特征（feature）层面**做自回归预测——用轻量网络预测下一层的隐藏特征，再解码成 token。 - 特征比 token 更可预测，接受率更高。 - Eagle-2 引入动态调整的候选树，进一步提升。 **共同点**：都避免独立 draft model，把"猜测"能力内建到 target 上，用 tree attention 并行验证。实测代码等任务可达 3-4× 加速。 **权衡**：需要额外训练预测头；对不同模型要各自训练。