高频面试真题

CUDA 中 warp、block、grid、SM 的关系是什么？

CUDA 中 Global Memory、Shared Memory、Register 的区别？为什么 kernel 优化要关注它们？

算子融合（Kernel Fusion）为什么能提速？举几个 LLM 中的例子。

Triton 相比手写 CUDA 有什么优势？为什么很多推理 kernel 用 Triton 写？