GPU中Warp如何映射到SM子分区？A100 SM相关技术问询

上图为A100 SM的结构示意图，显示该SM被划分为4组核心，每组可执行32线程的Warp。

问题1：任意时刻每个子分区上运行多少个Warp？是一个还是多个？ #

每个子分区（即SM的每组核心）同一时刻可调度多个Warp。NVIDIA SM采用硬件多线程机制，子分区会维护多个Warp的上下文，通过快速切换隐藏内存延迟或运算单元的流水线延迟。以A100为例，单个SM最多支持64个Warp，4个子分区通常会各自分配多个Warp（比如16个左右）；虽然单个周期内可能只有一个Warp在发射指令，但硬件可在周期内完成Warp的无开销切换，实际表现为多个Warp“并行”运行。

问题2：FP64运算资源不足时的执行逻辑及单元并行性 #

假设某Warp中每个线程需执行两个64位浮点数加法运算，子分区仅配备8个FP64单元，无法在一个时钟周期完成32次FP64运算：

• 该Warp的FP64运算会拆分为4个时钟周期执行：每个周期由8个FP64单元处理8个线程的运算，4个周期完成整个Warp的32次运算（若每个线程两次加法，会额外占用对应周期，但核心拆分逻辑仍按8线程组推进）。这是由GPU的SIMT（单指令多线程）架构决定的，指令会按匹配运算单元数量的线程组分批发射。
• 在此期间，INT32和FP32单元完全可以执行来自其他Warp的指令，甚至同一Warp的其他类型指令。SM内不同运算单元属于独立流水线，当FP64单元处于运算状态时，硬件可调度其他Warp的INT32/FP32指令到对应单元执行；同一Warp中不需要FP64单元的指令（如地址计算、整数操作）也能并行执行，这是GPU提升硬件利用率的核心机制。

参考资料推荐 #

• 《CUDA并行编程：GPU编程指南》：NVIDIA官方权威指南，详细讲解SIMT架构、SM结构与指令执行逻辑
• NVIDIA A100技术白皮书：官方发布的硬件架构细节，涵盖SM子分区、运算单元配置等核心信息
• 《GPU编程与CG语言之阳春白雪下里巴人》：国内入门级书籍，对GPU线程调度和硬件结构有通俗讲解
• NVIDIA开发者博客中A100架构深度解析内容：聚焦SM子分区、多线程调度等具体机制

内容的提问来源于stack exchange，提问作者TheProofIsTrivium