如何查看CUDA内核预留共享内存及缓存配置相关疑问

1. 如何查看CUDA内核预留的共享内存（未参与L1缓存的共享内存量）？ #

有几种可靠的方法：

• 编译时检查：使用nvcc编译时添加-Xptxas -v参数，编译输出会显示内核静态分配的共享内存大小（标注为shared memory）。
• 运行时查询：调用CUDA Runtime API的cudaFuncGetAttributes函数，获取返回的cudaFuncAttributes结构体中的sharedSizeBytes字段，该值代表内核静态声明的共享内存总量。如果内核启动时指定了动态共享内存（即<<<>>>中的第三个参数），总预留共享内存量为静态值加上动态分配的字节数。
• 性能分析工具：用Nsight Compute分析内核时，在Memory板块下的Shared Memory部分可以看到静态、动态及总共享内存的使用量。

2. 完全独立线程的工作负载，无需共享内存，如何确保无预留共享内存占用L1空间？ #

按以下步骤操作即可：

• 确保内核代码中没有静态声明__shared__类型的变量；
• 启动内核时，将动态共享内存参数（即<<<>>>中的第三个参数）设为0；
• 调用cudaFuncSetCacheConfig(myKernel, cudaFuncCachePreferL1)，强制SM将全部128KB的L1/共享内存池分配给L1缓存（Ampere SM8.6默认配置为48KB L1 + 80KB共享内存，设置PreferL1后会切换为128KB L1 + 0KB共享内存）。

3. 能否通过性能分析确认未分配共享内存，或物理L1缓存全部用作逻辑L1缓存？ #

可以，借助NVIDIA的性能分析工具：

• Nsight Compute：
  • 查看内核分析报告的Shared Memory Configuration部分，确认静态和动态共享内存的使用量均为0；
  • 在L1 Cache Configuration板块中，检查L1 Cache Size是否为128KB（对应PreferL1配置）；
  • 观察L1缓存命中率指标：如果工作负载受L1缓存限制，命中率的变化也能间接验证L1是否处于满容量可用状态。
• 运行时验证：通过cudaFuncGetAttributes确认内核的sharedSizeBytes为0，结合cudaFuncGetCacheConfig返回的配置为cudaFuncCachePreferL1，也能完成验证。

4. 为什么需要手动设置cudaFuncSetCacheConfig，而非内核按需分配共享内存后自动将剩余空间留给L1？ #

这是由Ampere架构的硬件设计和调度机制决定的：

• 硬件静态划分：SM的L1缓存与共享内存共用一块128KB的物理内存池，该池的划分比例是per-SM静态配置的，无法针对单个内核动态调整。一旦配置完成（通过cudaFuncSetCacheConfig或默认配置），SM会保持该划分比例直到被重新配置。
• 调度开销与硬件限制：SM支持多内核并发调度，如果允许每个内核动态调整缓存划分，会带来巨大的硬件切换开销，且当前Ampere硬件不支持这种快速动态切换。
• 用户优化需求：部分场景下，即使内核使用的共享内存很少，用户可能仍希望最大化L1缓存以提升性能；反之，有些内核需要大共享内存，即使L1缩小也能获得更好的效果。手动配置给了用户根据工作负载定制优化的灵活性。

内容的提问来源于stack exchange，提问作者emchristiansen