DeepSeek MoE 的"共享专家 + 细粒度专家"设计有什么好处？

参考答案

DeepSeek MoE 相比传统 MoE 有两个关键设计： **1. 细粒度专家（Fine-grained Experts）**： - 把每个 expert 拆得更小（FFN 中间维度更窄），expert 总数更多，每个 token 激活的 expert 数也相应增多。 - 好处：专家组合的多样性大增（从 N 选 k 变成更大的 N 选更多 k），路由更灵活，专家能学到更专精的知识，提升参数效率。 **2. 共享专家（Shared Experts）**： - 保留少数"共享专家"，每个 token 都必过，不参与路由。 - 好处：共享专家学习所有 token 通用的知识，避免这些通用知识在每个路由专家里重复学习（冗余），让路由专家专注差异化知识，提升整体效率。 **联合收益**： - 更高的参数利用效率，同等激活参数下效果更好。 - 缓解负载不均：共享专家承接通用负载，路由专家负载更均衡。 **延伸**：DeepSeek-V2/V3 还配合无辅助损失的负载均衡（auxiliary-loss-free load balancing，用可学习偏置调节路由）和 MLA（多头潜在注意力）压缩 KV Cache，共同实现高效推理。