MLA（Multi-head Latent Attention）是什么？它如何减小 KV Cache？

参考答案

**MLA（多头潜在注意力）** 是 DeepSeek-V2/V3 提出的注意力变体，核心目标是大幅压缩 KV Cache，同时保持接近 MHA 的效果。 **核心思想——低秩联合压缩**： - MHA 需要缓存每个头完整的 K、V，显存大。GQA/MQA 通过共享 KV head 减小，但有效果损失。 - MLA 把 K、V 联合压缩成一个低维的**潜在向量（latent vector）c**，推理时**只缓存这个低维 c**，而不是完整的 K、V。 - 需要 K、V 时，用上投影矩阵从 c 恢复出各头的 K、V（这些投影可与其他矩阵吸收合并，减少额外计算）。 **KV Cache 收益**： - 只存低维 latent，KV Cache 显存远小于 MHA，甚至小于 GQA。 - DeepSeek-V2 相比 MHA 把 KV Cache 压缩到约 1/十几，却保持甚至超过 MHA 的效果。 **与 RoPE 的兼容处理**： - RoPE 与低秩压缩有冲突（旋转破坏了可合并性），MLA 用"解耦 RoPE"——部分维度专门携带位置信息用 RoPE，其余走低秩压缩，兼顾两者。 **意义**：MLA 让长上下文推理的 KV 显存瓶颈大幅缓解，是 DeepSeek 高效推理的关键之一。