V100/A100 GPU中CUDA核心数据读取路径及共享内存疑问

问题1：寄存器未命中后的访问优先级判断 #

当CUDA核心在寄存器中未找到请求数据时，下一步会优先查找L1缓存，而非共享内存，ChatGPT的说法正确，你的理解存在误区，原因如下：

• 共享内存是程序员显式管理的内存空间，不属于硬件自动缓存的层级。只有在核函数中通过__shared__关键字声明共享内存数组，并主动将数据从全局内存加载到共享内存后，CUDA核心才会访问它；它不是硬件自动回退的访问路径。
• L1缓存是硬件自动维护的缓存层，针对全局内存、本地内存的访问做自动缓存，属于通用缓存体系的一环，寄存器未命中后会自动触发L1缓存的查找。
• 虽然共享内存访问速度快于L1缓存，但速度层级和硬件自动访问路径是两个概念：共享内存的高效性需要开发者主动利用，而非硬件自动调用。

问题2：未声明共享内存时的内存访问行为 #

场景a：CUDA核心请求数据时，数据是否仍会存入共享内存？ #

不会。共享内存的使用完全依赖开发者在核函数中显式声明（__shared__关键字）并通过代码完成数据加载。如果内核中没有任何__shared__数组的定义，硬件不会自动将全局内存数据存入共享内存，所有全局内存访问都会走L1/L2缓存的自动缓存路径。

场景b：若数据不存入共享内存仅存L1缓存，共享内存是否会关闭，数据直接从L1缓存到寄存器？ #

共享内存不会被"关闭"，只是处于未被使用的闲置状态：

• 不同架构有默认的L1/共享内存比例配置（比如V100默认是16KB L1 + 48KB共享内存），未被使用的共享内存空间只是闲置，不会影响数据访问路径——数据会从L1缓存直接加载到寄存器，无需经过共享内存。
• 部分架构（如A100）支持将未使用的共享内存空间转为L1缓存使用，但即使不做额外配置，数据也不会走共享内存的路径。

内容的提问来源于stack exchange，提问作者user2166888