Attention Sink 现象是什么？StreamingLLM 如何利用它？

参考答案

**Attention Sink（注意力汇聚点）**：研究者发现，Transformer 在解码时，无论内容相关性如何，大量注意力权重会稳定地"汇聚"到序列**最开始的几个 token**（尤其第一个）上。这些 token 成为注意力的"垃圾桶/汇点"，即使它们语义不重要。 **成因**：Softmax 要求注意力权重和为 1，当当前 token 与所有历史都不太相关时，模型需要一个"默认去处"来分配多余的注意力，开头的 token（每步都可见、位置固定）自然承担了这个角色。 **StreamingLLM 如何利用**： - 目标是让模型能处理无限流式输入而不 OOM，同时保持性能。 - 朴素做法是滑动窗口只保留最近 N 个 token 的 KV，但一旦把开头的 sink token 挤出窗口，性能会**急剧崩溃**——因为模型依赖 sink 来正常工作。 - StreamingLLM 的方案：**始终保留最开头的少数 sink token 的 KV** + **最近的滑动窗口 KV**，中间的丢弃。 - 这样既控制了 KV Cache 大小（常数级），又保住了模型赖以正常运作的 attention sink，实现稳定的长/流式生成。 **延伸**：有些模型训练时显式加一个可学习的 sink token，效果更稳定。