vLLM / SGLang / TensorRT-LLM / FlashAttention 等核心系统的深度技术文章。
标准 Attention 的瓶颈不在算力而在显存带宽。FlashAttention 通过 Tiling + 在线 softmax，把 HBM 访问从 O(N²) 降到 O(N²/M)。