Prefill/Decode 分离（Disaggregation）架构的动机和挑战是什么？

参考答案

**动机**：Prefill 是 compute-bound、Decode 是 memory-bound，两者硬件需求相反。混在同一实例里： - 长 prefill 阻塞 decode，抬高 TPOT。 - 难以对两阶段分别优化和扩容。 **PD 分离架构**： - 用**独立的 prefill 实例**和**decode 实例**（甚至不同硬件配置）。 - 请求先到 prefill 实例算完 prompt 的 KV Cache 和首 token，再把 KV Cache 传给 decode 实例继续生成。 **好处**： - 两阶段互不干扰，TTFT 和 TPOT 都更稳定，各自满足 SLO。 - 可按各自负载独立扩缩容（prefill 密集型 vs decode 密集型请求比例不同）。 - prefill 实例可用算力强的卡，decode 实例可用显存/带宽优的配置。 **挑战**： 1. **KV Cache 传输开销**：prefill 算出的 KV 要跨实例（跨卡/跨机）传给 decode，长 prompt 的 KV 很大，传输带宽和延迟是瓶颈，需要高速互联（NVLink/RDMA）和传输与计算重叠。 2. **调度复杂**：两类实例的配比、请求路由、负载均衡更复杂。 3. **一致性**：KV Cache 的布局/精度要在两侧对齐。 代表系统：DistServe、Mooncake（月之暗面）等。