MoE 模型与 Expert Parallelism

什么是 MoE

Mixture of Experts（混合专家）用稀疏激活替代稠密计算：每个 token 只路由到 Top-K 个 expert（通常 K=1 或 2），而非激活全部参数。

这样模型总参数量可以极大（数千亿），但单 token 实际计算量只取决于被激活的 expert。

Expert Parallelism（EP）

将不同 expert 放到不同 GPU：

1. 路由（routing）：gate 网络为每个 token 选择 expert
2. All-to-All 通信：把 token 发送到所属 expert 所在的卡
3. 专家计算：各卡并行计算
4. All-to-All 返回：结果送回原位置

核心挑战：负载均衡

若路由不均，少数 expert 成为热点，其他卡空闲。解决方案：

• Auxiliary loss：在损失中加入 expert 使用频率正则项
• Token dropping：超过容量的 token 跳过该 expert
• DeepSeek-V3 无辅助损失方案：通过动态 bias 调整路由 logit，不污染主损失

DeepSeek-V3 的极致 EP

DeepSeek-V3 采用 EP=64 的大规模专家并行，配合 DeepEP 通信库优化 All-to-All，是当前开源 MoE 工程化的标杆。

小结

MoE 用稀疏性换容量，而 Expert Parallelism 是让 MoE 规模化的关键系统技术，其工程难点集中在通信效率与负载均衡。