多GPU下用cudaEventRecord统计各GPU核函数运行耗时的实现方法
多GPU下CUDA事件独立计时的落地实现
CUDA事件与创建时所在的GPU上下文强绑定,只有同一GPU上创建的start、end事件对,才能传入cudaEventElapsedTime计算有效耗时,跨设备的事件对计算结果无意义。
结合你现有的循环切设备、启动任务的代码框架,不需要改动整体逻辑,只需要按以下步骤嵌入事件调用即可:
事件初始化环节
你目前循环逐次设置活动GPU、初始化start_events和end_events数组的逻辑是完全正确的,只需要确认每一个事件start_events[i]、end_events[i]都是在cudaSetDevice(i)的上下文中创建的,保持默认的cudaEventDefault创建标志即可——这个标志默认开启高精度计时能力,满足你对核函数耗时的统计需求。
核函数启动循环嵌入事件记录
在你现有的逐GPU启动核函数的循环中,把start、end事件记录紧贴核函数启动操作插入,不要在两个事件记录之间插入其他无关操作:
for(int i = 0; i < num_gpus; i++) { // 切换到对应GPU的上下文,和你现有逻辑保持一致 CUDA_FUNC_CALL(cudaSetDevice(i)); // 在当前GPU的默认流上记录计时起点事件 CUDA_FUNC_CALL(cudaEventRecord(start_events[i], 0)); // 启动对应GPU上的稀疏三角求解核函数,和你现有逻辑保持一致 kernel<<<>>>(); // 在当前GPU的默认流上记录计时终点事件,紧跟核函数启动之后 CUDA_FUNC_CALL(cudaEventRecord(end_events[i], 0)); }
全局同步环节替换为事件同步+逐设备耗时计算
把你原来循环中调用cudaDeviceSynchronize()的部分,替换为对应end事件的同步操作,同步完成后直接计算当前GPU的核函数耗时:
// 定义数组存储每块GPU的独立核函数耗时,单位为毫秒 float gpu_kernel_elapsed[num_gpus]; for(int i = 0; i < num_devices; i++) { CUDA_FUNC_CALL(cudaSetDevice(i)); // 等待当前GPU上的计时终点事件对应的所有任务执行完成 CUDA_FUNC_CALL(cudaEventSynchronize(end_events[i])); // 计算同设备下start到end事件的时间差,得到当前GPU的纯核函数耗时 CUDA_FUNC_CALL(cudaEventElapsedTime(&gpu_kernel_elapsed[i], start_events[i], end_events[i])); }
实现中需要规避的常见问题
- 严格区分“计时用途事件”和“跨设备同步用途事件”的创建规则:你从官方文档了解到的CUDA事件跨GPU同步能力,是通过带
cudaEventDisableTiming标志创建的事件实现的,这类事件会关闭计时精度,仅用于传递设备间的依赖信号,绝对不能拿这类事件做耗时统计。如果混用了跨设备的事件对计算cudaEventElapsedTime,因为两个事件绑定的GPU时间基准不统一,计算结果完全不可信。 - 不要在两个事件记录之间插入无关操作:比如在start事件记录、end事件记录中间夹杂显存拷贝、其他工具类核函数启动等操作,否则统计的耗时会混入这些无关操作的开销,和你想要的“单GPU核函数纯运行耗时”目标不符。
- 基于事件的同步操作只会等待计时范围内的任务,不会受GPU上其他后台杂项操作影响,计时精度比你之前使用的设备级全同步(
cudaDeviceSynchronize())更高;同时因为每块GPU的任务是并行启动的,逐设备的事件同步步骤不会拉长整体程序的运行时间。
内容的提问来源于stack exchange,提问作者nondefinite
相关产品推荐
相关产品推荐

