Mooncake 的以 KV Cache 为中心的架构有什么特点？

参考答案

Mooncake 是月之暗面（Kimi）公开的推理服务架构，核心是**以 KV Cache 为中心（KVCache-centric）的 PD 分离 + 分布式缓存**。 **关键设计**： 1. **Prefill/Decode 分离**：prefill 池和 decode 池分开，各自扩容，避免互相干扰。 2. **分布式 KV Cache 池（KVCache Pool）**： - 把集群里各节点的 CPU 内存、显存、甚至 SSD 组织成一个**分层的分布式 KV 缓存**。 - prefill 算出的 KV 存入池，decode 按需取用；共享前缀的 KV 全局复用（跨请求、跨节点）。 3. **以缓存复用最大化为调度目标**：调度器优先把请求路由到已缓存其前缀 KV 的节点，最大化 prefix cache 命中，减少重复 prefill。 4. **面向过载的早拒绝（early rejection）**：预测过载时提前拒绝，保护 SLO。 **收益**： - 高 prefix 命中率大幅降低 prefill 计算，提升有效吞吐。 - 分层存储扩大了 KV 缓存容量（不止显存），支撑更多长上下文并发。 **挑战**：KV 传输带宽、缓存一致性与淘汰、调度复杂度。它体现了"把 KV Cache 当作一等公民来做系统设计"的思路。