解码采样中 temperature、top-k、top-p（nucleus）分别控制什么？

参考答案

这些是控制自回归生成随机性/多样性的采样参数，作用在每步的下一 token 概率分布上。 **Temperature（温度 T）**： - 在 softmax 前把 logits 除以 T：`softmax(logits/T)`。 - T<1：分布更尖锐，倾向高概率 token，输出更确定、保守。 - T>1：分布更平坦，低概率 token 机会增大，输出更随机、有创意。 - T→0：退化为贪心（argmax）。 **Top-k**： - 每步只在概率最高的 k 个 token 里采样，其余置零后重归一化。 - 限制候选数，避免长尾里的离谱 token。k 固定，缺点是不同分布的"合理候选数"不同。 **Top-p（Nucleus 核采样）**： - 每步选累积概率达到 p 的最小 token 集合（核）里采样。 - 候选数动态：分布尖锐时候选少，分布平坦时候选多，比 top-k 更自适应。 **组合使用**：常见先 top-k/top-p 截断，再按 temperature 缩放采样。 **推理系统视角**：这些是无损于系统吞吐的"采样后处理"，但会影响投机解码的接受率（temperature 高、分布分散时 draft 更难猜中）。