启动CUDA内核时，‘同步策略’的含义及应用方式是什么？

从CUDA 12.0开始，启动内核时可通过CUlaunchConfig结构体指定额外的启动属性，其中一项就是“同步策略”。

CUDA的*流（streams）*早已支持同步策略，包含auto、spin、yield、block这几种类型。内核启动时的同步策略，本质是定义当前主机线程在等待该内核启动完成时的行为模式——这里的“启动完成”并非指内核执行结束，而是内核任务已成功提交到GPU并完成执行序列调度，主机线程可继续后续操作的节点。

不同策略的具体应用逻辑如下：

• auto：由CUDA运行时自动选择最优策略，会根据系统负载动态调整，是默认选项。
• spin：主机线程通过循环轮询等待，不释放CPU核心，适合等待时间极短的场景，能最快响应启动完成信号，但会持续占用CPU资源。
• yield：主机线程主动让出CPU核心给其他线程，间隔一段时间后再检查启动状态，在资源占用和响应速度间取得平衡。
• block：主机线程进入阻塞状态，直到收到内核启动完成的信号，此时线程会完全释放CPU资源，适合等待时间较长的场景。

值得注意的是，此前流的同步策略作用于整个流的同步操作，而CUDA 12.0新增的内核级同步策略，允许开发者为单个内核启动指定独立的等待行为，比流级策略更精细，可针对不同内核的启动特性优化主机侧的资源利用。

内容的提问来源于stack exchange，提问作者einpoklum