vLLM / SGLang / TensorRT-LLM / FlashAttention 等核心系统的深度技术文章。
稀疏激活的 MoE 如何在保持算力可控的同时扩大模型容量，以及 Expert Parallelism 的通信与负载均衡挑战。