Metal中纹理采样速度比加载线程组内存更快？计算着色器性能问题求教

问题核心原因分析 #

你遇到的线程组内存访问远慢于纹理采样的问题，核心是线程组内存（Threadgroup Memory）的严重Bank冲突，外加Apple A系列GPU的纹理采样单元本身有极强的缓存优化，两者叠加导致了不符合预期的性能表现：

• Apple A12（iPhone XR搭载）的GPU线程组内存按4字节为一个Bank设计，同一Warp内的线程如果访问同一个Bank的不同地址，就会触发Bank冲突，访问延迟会线性上涨，冲突严重时甚至会比缓存命中的纹理采样慢数倍。
• 你的代码里线程组内存的索引顺序写反了：你定义的二维数组是gCache[BLOCK_SIZE_Y][BLOCK_SIZE_X + 2 * MAX_PIXR]，其中BLOCK_SIZE_Y = 1，但访问时用gCache[gl_LocalInvocationID.x][a]，第一维用线程x坐标索引，步长为(BLOCK_SIZE_X + 2 * MAX_PIXR) * 16字节，同一Warp内的所有线程访问的地址刚好命中同一个Bank，触发了最严重的全冲突场景。
• 你处理的是128x128的极小纹理，本身会完全命中GPU的纹理L1/L2缓存，Apple的纹理采样单元对这类连续访问做了专门硬件优化，缓存命中时的采样延迟本身就和无冲突的线程组内存访问差无几，冲突严重的线程组内存访问自然比纹理采样更慢。
• 你观测到主内存带宽没有变化，是因为两种方案的纹理数据都是从GPU片上缓存读取，本身就没有产生主内存访问，因此带宽没有波动。你猜测的线程组内存使用量过大、数据冒险都不是问题根源，你当前的线程组内存总占用仅为(128 + 2*20) * 1 * 16字节 = 2688字节，远低于A12 GPU单线程组32KB的线程组内存上限。

优化方案 #

• 首先修正线程组内存的维度和索引顺序：将数组定义改为threadgroup Packhalf5 gCache[BLOCK_SIZE_X + 2 * MAX_PIXR][BLOCK_SIZE_Y];，访问时修改为gCache[a][gl_LocalInvocationID.y]、gCache[b][gl_LocalInvocationID.y]，保证同一Warp内的线程访问的地址步长为16字节，均匀分布在不同Bank，完全消除Bank冲突。
• 同步修正线程组内存填充阶段的索引，和访问阶段保持一致。
• 优化后线程组内存的访问延迟会下降到预期值，整体性能会优于直接采样纹理的实现。

内容的提问来源于stack exchange，提问作者wubugui