多维CUDA kernel块内的线程是否会被打包填充warp？

NVIDIA GPU以固定32线程规模的warp作为最小指令调度单位，同一warp内的所有线程会共同执行同一条指令。
以90线程的一维线性block（维度配置为X×Y×Z = 90×1×1）为例，GPU总共会调度3个warp执行任务，划分逻辑如下：

• 第1个warp：覆盖线程(0,0,0) 至 (31,0,0)
• 第2个warp：覆盖线程(32,0,0) 至 (63,0,0)
• 第3个warp：覆盖线程(64,0,0) 至 (89,0,0)，剩余6个lane为空闲状态

一维block场景下的warp划分逻辑简单明确，但当使用X维度大小不为32倍数的多维block时，以X×Y×Z = 30×3×1的配置为例，线程到warp的映射存在两种符合直觉的可能方案：

多维block的两种warp划分方案 #

方案1：连续线程打包填充warp #

该方案按照线程线性ID的顺序连续打包，尽可能填满每个warp的32个lane，最小化空闲槽位。

• 第1个warp：覆盖线程(0,0,0)至(29,0,0) + 线程(0,1,0)至(1,1,0)
• 第2个warp：覆盖线程(2,1,0)至(30,1,0) + 线程(0,2,0)至(3,2,0)
• 第3个warp：覆盖线程(4,2,0)至(30,2,0)，剩余6个lane为空闲状态

该方案的总warp占用更低，例如典型的16×2×1维度block仅需1个warp即可承载，硬件利用率更高。

方案2：按Y/Z维度独立划分warp #

该方案不会跨Y、Z维度打包线程，不同y、z坐标的线程会被划分到独立的warp中。

• 第1个warp：覆盖线程(0,0,0)至(29,0,0)，剩余2个lane为空闲状态
• 第2个warp：覆盖线程(0,1,0)至(29,1,0)，剩余2个lane为空闲状态
• 第3个warp：覆盖线程(0,2,0)至(29,2,0)，剩余2个lane为空闲状态

该方案下同一warp内的线程均属于同一个Y/Z坐标平面，可在部分场景下减少warp内的线程分化，实际运行收益取决于kernel代码的具体逻辑。

待解答的核心问题 #

1. 未手动指定warp聚合规则时，GPU默认采用上述哪一种划分方案？该默认逻辑是否会因GPU架构、驱动版本的不同存在差异？
2. 开发者是否可以手动选择上述两种warp划分方案，或通过其他方式控制多维block内线程聚合为warp的规则？

内容的提问来源于stack exchange，提问作者einpoklum