CUDA动态并行实际最大嵌套深度究竟是多少？

项目背景与核心疑问 #

我正在开发的项目包含三个对应不同kernel的阶段，第二阶段所需线程数及是否需重复执行，需在前一阶段结束后才能确定。目前由host负责启动所有阶段，为降低开销，我计划将阶段启动逻辑移至device端，由最后活跃warp的首个线程启动下一阶段的grid。由于第二阶段可能多次重复执行，需确保不超出动态并行的最大嵌套深度，若超出则返回host启动新grid。

核心疑问：

• CUDA动态并行的最大嵌套深度具体数值是多少？计算能力3.5及以上的硬件限制深度为24级，但不确定host启动的首个grid是否计入该计数（即总网格链长度是24还是25）。
• 编写递归启动grid的程序时，意外发现嵌套深度达500时仍能正常运行（已排除循环问题导致的错误）。想进一步了解：
  • 该最大深度是最低保障吗？超出后程序可能正常运行吗？
  • 它是否与父子grid的同步有关？
  • 是否仅针对活跃grid？

问题解答 #

1. 官方规范中的嵌套深度数值 #

针对计算能力3.5及以上的CUDA设备，官方明确动态并行的最大嵌套深度为24级，计数规则如下：

• Host启动的首个grid处于深度0，不计入24级的限制范围；
• Device端递归启动的每个grid深度依次递增1，最多可启动24个层级的grid（深度1到24）；
• 因此从Host开始的整个调用链，最多可包含25个grid（深度0到24）。

2. 超出官方深度仍能运行的原因与注意事项 #

• 最低保障而非严格上限：官方给出的24级是硬件必须支持的最低标准，部分GPU的硬件实现可能允许超出该深度运行，但这属于未定义行为，绝对不能在生产环境中依赖。不同型号的GPU实际上限可能不同，超出后可能出现崩溃、死锁、计算结果错误等不可预测的问题。
• 与活跃grid的关系：嵌套深度限制针对的是调用链的当前深度，而非同时活跃的grid数量。如果父grid已经执行完毕并退出，它所占用的深度层级会被释放，后续启动的grid可以复用该层级。例如，启动深度1的grid并等待其完成后，再启动另一个深度1的grid，不会累积深度到2。
• 与父子grid同步的关系：嵌套深度限制和父子grid的同步没有直接关联。但如果在父grid未完成时启动大量子grid，可能会因为GPU资源（如流、线程块资源）耗尽触发错误，这属于资源限制问题，而非嵌套深度限制本身导致的。

内容的提问来源于stack exchange，提问作者StefanoTrv