RoPE（旋转位置编码）是什么？为什么利于长上下文外推？

参考答案

**RoPE（Rotary Position Embedding，旋转位置编码）**：不是把位置编码加到输入上，而是在计算注意力时，用与位置相关的旋转矩阵去"旋转"每个 token 的 Q 和 K 向量（在二维子空间里按位置角度旋转）。 **关键性质——相对位置**：两个 token 在位置 m 和 n 的 Q、K 做点积时，结果只依赖它们的相对距离 (m−n)，而非绝对位置。这让模型天然建模相对位置关系，且注意力对平移不变。 **为什么利于长上下文**： - 相对位置的表达比绝对位置编码更利于泛化到训练时没见过的长度。 - 通过调整旋转的"频率基"（base θ）可做外推： - **位置插值（PI）**：把超长位置线性压缩回训练范围。 - **NTK-aware / YaRN**：非均匀调整不同频率维度的缩放，兼顾高频（局部）和低频（全局），在扩展上下文时更好保持性能。 **面试延伸**：ALiBi 是另一种利于外推的方案（给注意力分数加与距离成正比的线性偏置）。RoPE 因兼容性好、外推友好，被 Llama、Qwen、GLM 等广泛采用。