Nsight Compute指令统计字段含义及与耗时周期的关联问询

核心字段含义及与周期的关联 #

以下是Instruction Statistics中关键字段的定义，以及它们和GPU运行周期/时间的关系：

• Executed Instructions：GPU硬件实际完成执行的机器指令总数（对应SASS/PTX层面指令，而非CUDA源码语句）。它与总周期的核心关联体现在IPC（每周期执行指令数）：IPC越高，相同指令数下所需周期越少，运行时间越短；反之则周期更长。
• Issued Instructions：GPU调度器发出的指令总数，可能大于Executed Instructions（如分支预测错误导致部分指令被取消执行）。
• Avg. Executed Instructions Per Scheduler：每个活跃调度器平均执行的指令数，反映SM内部调度器的负载分布。
• IPC (Instructions Per Cycle)：直接计算为 Executed Instructions / Total Cycles，是衡量GPU指令执行效率的核心指标，数值越接近架构理论最大值，硬件利用率越高。

总运行时间与周期的关系为：总时间 = 总周期 / GPU核心时钟频率，指令数通过IPC间接影响总时间——指令量越大、IPC越低，总周期（及总时间）越长。

针对你的示例问题解答 #

1. Executed Instructions 的含义与总运行时间/周期的关联 #

Executed Instructions是GPU实际完成执行的硬件指令总数量（注意：这不是你编写的CUDA代码行数，而是编译后生成的机器级指令）。

它和你的总周期（166170948cycle）、总时间（74.35ms）的关联通过IPC体现：

IPC = Executed Instructions / 166170948

• 如果IPC接近你GPU架构的理论上限（比如Ampere架构SM单周期最多可执行32条指令），说明你的kernel几乎完全利用了GPU的指令执行能力；
• 如果IPC偏低，说明存在性能瓶颈（比如内存访问延迟导致调度器空转、分支发散浪费周期、共享内存冲突阻碍指令发射）。

总时间由总周期和GPU核心频率决定，指令数越多或IPC越低，总周期越长，最终运行时间也就越久。

2. Avg. Executed Instructions Per Scheduler 的含义与数值差异原因 #

这个指标是每个活跃调度器平均执行的指令数，计算公式为：

Avg. Executed Instructions Per Scheduler = Executed Instructions / 活跃调度器数量

你看到该数值是Executed Instructions的1/5，说明你的kernel运行时，GPU的SM上有5个调度器处于活跃状态，并行处理指令流。

不同NVIDIA GPU架构的SM配备的调度器数量不同（比如Volta有4个，Turing有2个），这个比值直接反映了当前kernel实际占用的活跃调度器数量，同时也能体现SM内部的负载均衡情况——数值越接近，说明各调度器的工作负载越均匀。

内容的提问来源于stack exchange，提问作者sorfkc