CUDA：确定Kernel块大小时SM线程数是否重要？

问题描述 #

有大量文章和Stack Overflow问题讲解了Kernel的网格（grid）和块（block）大小的设置方法及优化方式，但这些内容似乎从未提及SM的限制。据我了解，一个SM最多可执行1536个线程，最多容纳8个块。这些数值显然与相关计算有关，为何却很少被提及？
例如，若我的Kernel块大小设为128线程，那么每个SM仅能运行1024个线程，远低于1536的上限，这会造成相当程度的资源未充分利用。
或许只是我刚意识到这一点，而其他人都早已知道要将这些因素纳入考量！

解答 #

• SM（流式多处理器）的硬件限制确实是CUDA核函数性能优化的核心依据，只是入门教程往往会优先聚焦grid/block的基本概念与用法，避免过早引入复杂的硬件细节，防止新手混淆。等开发者掌握基础后，进阶优化内容才会深入讲解这些底层限制。
• 你举的例子很典型：当块大小设为128时，受限于SM最多容纳8个块的限制，总线程数只能到8*128=1024，确实没用到1536的线程上限。要充分利用SM资源，你可以调整块大小为192（8*192=1536）或者256（6*256=1536，此时块数未超过8的上限），这样就能填满SM的线程容量。
• 需要注意的是，SM的参数不是固定的：不同CUDA架构（比如Kepler、Turing、Ampere）的SM最大线程数、最大块数都可能不同。你可以通过CUDA API查询当前设备的具体参数，比如：

  int max_threads_per_sm;
  cudaDeviceGetAttribute(&max_threads_per_sm, cudaDevAttrMaxThreadsPerMultiProcessor, 0);
  int max_blocks_per_sm;
  cudaDeviceGetAttribute(&max_blocks_per_sm, cudaDevAttrMaxBlocksPerMultiProcessor, 0);
  

• 除了线程数和块数，SM的共享内存、寄存器容量也是限制因素——即使块大小符合线程数和块数上限，如果单个块占用的共享内存或寄存器超过SM的配额，也无法同时容纳这么多块。所以实际优化时需要综合考量所有资源限制。
• 很多进阶优化资料（比如CUDA官方性能优化指南）都会详细讲解这些SM限制，只是入门内容更侧重“让代码跑起来”而非“榨干性能”，所以容易给人“很少提及”的错觉。

内容的提问来源于stack exchange，提问作者Andrew Stephens