读取随机分散有限大小块的CUDA显存带宽限制公式问询

当并行读取全局设备显存中随机分散的N个大小为D字节的块时，确实存在可估算带宽比例上限的公式，核心逻辑基于GPU显存的事务粒度特性：

核心限制公式 #

有效带宽比例 = (N × D) / (N × ceil(D / T) × T) = D / (ceil(D / T) × T)

参数说明 #

• T：GPU架构规定的最小全局内存事务粒度，不同厂商/架构数值不同：
  • NVIDIA Kepler及后续主流架构（如Ampere、Hopper）通常为128字节
  • 早期NVIDIA架构（如Fermi）可能为64或32字节
  • AMD GPU的事务粒度一般为64或128字节
• ceil()：向上取整函数，用于计算每个D字节请求需要触发的完整事务数量

公式逻辑解读 #

GPU的显存控制器无法发起小于T字节的独立事务，哪怕你只请求D字节数据：

• 若D是T的整数倍，每个请求刚好匹配一个事务，有效带宽比例为100%（理想无额外开销场景）
• 若D < T，每个请求会触发一个完整的T字节事务，其中T-D字节的带宽被浪费，有效比例直接降到D/T
• 若D > T但不是整数倍，会触发ceil(D/T)个事务，同样存在部分带宽浪费

实际场景的额外影响 #

上述公式是无缓存命中、地址完全随机分散情况下的理论上限，实际带宽比例还会受以下因素影响：

• 缓存命中率：如果大量随机块命中L1/L2缓存，实际触发的全局显存事务会减少，有效带宽比例会高于公式计算值（缓存带宽远高于全局显存）
• 事务合并：如果多个随机请求的地址落在同一个T字节范围内，显存控制器会自动合并为一个事务，提升有效带宽
• 内存bank冲突：极端情况下的地址分布可能导致内存bank竞争，降低实际带宽利用率

内容的提问来源于stack exchange，提问作者MWB