MIO Throttle停顿的发生场景、实际含义及指令队列存储规则问询

结论基于NVIDIA Nsight Compute剖析指南、DRIVE OS 5.1.12.0L Nsight Graphics活动文档的公开说明整理

• 核心定义：MIO全称为内存输入输出（Memory Input/Output），是GPU流多处理器内部的一条独立执行流水线。MIO Throttle是一类warp停顿状态，本质是warp准备发射的指令属于MIO流水线的管辖范围，但MIO的入口指令队列已经被占满、无空闲槽位承接新指令时，warp被迫暂停发射产生的停顿。这类停顿的占比和MIO流水线的利用率直接正相关，当MIO流水线饱和时，这类停顿会成为warp停滞的主要组成部分。
• MIO流水线的管辖范围不局限于纯内存操作，覆盖的指令类型包括：
  • 共享内存访存指令
  • 特殊数学运算指令、动态分支跳转指令
  • 多类触发源对应的访存与计算指令：本地内存访问、全局内存访问、属性内存访问、IPA地址转换操作、索引式常量加载（LDC）、解耦数学运算指令

• 需要明确的是，不存在覆盖全部内存操作的统一指令队列，此前“所有内存操作由LSU执行、因此统一排队等待LSU单元执行”的认知存在偏差：
  • LSU是MIO流水线下游的执行单元之一，而非独立全局指令队列的管理者。GPU流多处理器的指令发射逻辑是按执行流水线的管辖域拆分独立入口队列，和整数运算流水线、浮点运算流水线、张量核心流水线的队列并列，MIO流水线的入口队列只是所有独立发射队列中的一类，不同队列之间的状态完全独立。
  • LG Throttle指标的存在具备合理性：LG Throttle统计的是MIO流水线下游、LSU专属存储通道的队列满状态导致的停顿，和MIO层面的入口队列满停顿属于指令传递路径上的不同层级阻塞——前者是下游执行通道堵塞导致的停顿，后者是上游MIO入口队列堵塞导致的停顿，两者的统计对象、触发原因完全不重叠，不存在指标冗余的问题。

内容的提问来源于stack exchange，提问作者rm95