ROCProfiler派生计数器说明查询及OpenCL内核性能优化咨询

一、rocprof 关键术语解析 #

• TA块（Thread Array Block）：对应AMD GPU上的Wavefront（波前），是硬件调度执行的基本线程组。GCN架构下一个Wavefront通常包含64个线程，CDNA架构则是32个，TA块是内核里实际被硬件调度的最小并行单元。
• TD实例（Thread Dispatch Instance）：指硬件调度器给计算单元（CU）派发一次TA块（Wavefront）的操作，每次派发就代表一组线程开始执行。
• TCP实例（Thread Compute Pipeline Instance）：对应TA块在计算流水线里的一次完整执行周期，从指令取指、执行到结果写回的全流程都算在内。
• TCA实例（Thread Compute Array Instance）：表示由多个CU组成的计算阵列对TA块的一次处理实例，反映的是多CU协同执行的并行粒度。
• TCC（Thread Compute Cycles）：TA块在计算单元上实际跑的时钟周期数，是衡量内核计算密集度的核心指标——数值越高，要么是计算负载重，要么就是指令效率低。

二、OpenCL内核（kernel1、kernel2）性能优化建议 #

通用优化方向 #

• 内存访问优化
  • 尽量用**局部内存（Local Memory）**代替全局内存，把频繁访问的数据缓存到局部内存里，减少全局内存的高延迟访问。还要注意避免局部内存的bank冲突，别让多个线程同时访问同一bank的地址。
  • 保证全局内存访问的对齐性，按照GPU硬件要求的内存粒度（比如64字节、128字节）组织数据，避免非对齐访问带来的性能损耗。
• 线程调度优化
  • 调整内核的工作组大小，让它是Wavefront大小的整数倍（GCN是64，CDNA是32），这样硬件调度器能充分利用TA块的并行性，不会浪费线程。
  • 尽量减少内核里的分支语句，尤其是同一Wavefront内线程的发散分支（不同线程走不同执行路径），这种情况会直接拉低TA块的执行效率。
• 指令优化
  • 用GPU原生支持的向量指令，把标量操作改成向量操作，提升单周期内的计算吞吐量。
  • 减少指令依赖，通过重排指令让硬件流水线充分并行，避免因为等待数据导致流水线停顿。

针对性优化步骤 #

1. 结合rocprof计数器定位瓶颈
   • 如果TCC数值很高，但内存相关计数器（比如全局内存访问次数）很低：说明内核是计算密集型，得优化指令效率，比如用硬件原生支持的近似数学函数代替精确函数。
   • 如果内存访问相关计数器（比如全局内存负载/存储延迟）很高：说明内存是瓶颈，重点优化内存访问模式，多利用局部内存。
   • 如果TD/TCP实例数比预期高很多：说明线程调度有浪费，得调整工作组大小或者内核的线程划分方式。
2. 内核代码重构
   • 检查kernel1和kernel2的循环结构，把能并行的循环展开，减少循环控制指令的开销。
   • 对于kernel之间的数据传递，尽量在主机端提前整理好数据布局，别让内核里做不必要的数据转换。
3. 编译选项优化
   • 用-O3优化级别编译OpenCL内核，开启编译器的自动优化。
   • 针对目标AMD GPU架构（比如gfx906、gfx1030）添加架构特定编译选项，让编译器生成更贴合硬件的指令。

内容的提问来源于stack exchange，提问作者Necktwi