CUDA Stream重叠计算与内存操作失败：SwitchTransformer及页内存疑问

我尝试在HuggingFace SwitchTransformer中创建两个CUDA Stream，分别执行CPU到GPU的页内存（pageable memory）拷贝操作（单块4MB，共2-6块）和微秒级GEMM类计算操作，期望实现两者的执行重叠，但未成功。现提出两个疑问：

1. 使用页内存而非锁定内存（pinned memory）是否是重叠失败的核心原因？
2. 我在简单实验中验证过页内存也能实现操作重叠，为何在SwitchTransformer这个实际应用场景中无法复现？

附相关代码及性能分析截图。

1. 页内存是否是重叠失败的核心原因？ #

是。页内存的CPU→GPU拷贝分为两个强制阶段：

• 第一阶段：CPU将页内存数据拷贝到CUDA驱动维护的临时锁定内存缓冲区，这一步是CPU同步阻塞执行的，完全无法和GPU计算并行；
• 第二阶段：从临时缓冲区异步拷贝到GPU显存，这一步才具备和GPU计算重叠的可能。

你的GEMM是微秒级的短耗时任务，大概率在第一阶段CPU阻塞的时间内就已经执行完成，根本没等到第二阶段异步拷贝启动，自然无法实现重叠。而锁定内存的拷贝是直接CPU→GPU显存的异步操作，跳过了CPU侧的阻塞阶段，是实现这类短任务重叠的必要前提。

2. 简单实验与实际场景的差异原因 #

简单实验的可控性极强，而SwitchTransformer的复杂运行环境会直接破坏页内存的重叠条件，核心差异点包括：

• CPU负载差异：简单实验中CPU无额外负载，页内存拷贝的第一阶段能快速完成，让第二阶段异步拷贝刚好赶上和计算重叠；但SwitchTransformer本身有大量CPU侧的模型调度、张量预处理、参数加载逻辑，占用CPU资源，导致第一阶段拷贝被延迟，异步拷贝启动时计算早已结束。
• CUDA流的同步干扰：简单实验中流是完全独立无依赖的，但SwitchTransformer内部的算子（如张量切片、激活函数、路由逻辑）可能会触发CUDA流的隐式同步（比如默认流和用户流的同步），直接打断异步拷贝和计算的并行关系。
• 内存管理的不确定性：简单实验中内存布局规整、无碎片，页内存的分页映射效率高；但实际场景中系统内存可能存在碎片、换页操作，导致页内存拷贝的第一阶段耗时不可控，无法稳定和微秒级计算对齐。
• 任务依赖关系：简单实验中的GEMM是孤立任务，而SwitchTransformer中的GEMM前后可能有其他GPU操作，这些操作的同步等待会让计算任务无法和拷贝操作同时启动。

内容的提问来源于stack exchange，提问作者VIArchitect