PyOpenCL中设置is_blocking=False后enqueue_copy仍未实现非阻塞主机到缓冲区拷贝的问题咨询

问题描述 #

我正在用PyOpenCL写代码，把繁重的计算卸载到GPU上。为了优化算法，我想把一些内存传输操作和后续计算并行起来，但不管怎么设置，都观察到阻塞行为：

我的代码如下：

import numpy as np
import pyopencl as cl
from timeit import default_timer as dt

ctx = cl.create_some_context()
queue = cl.CommandQueue(ctx)

a = np.random.random((1000, 1000, 500)).astype(np.float64)
mf = cl.mem_flags
start = dt()
a_buff = cl.Buffer(ctx, mf.READ_WRITE | mf.COPY_HOST_PTR, hostbuf=a)
print(f'Buffer creation time: {dt()-start:0.4f} s')

start = dt()
event1 = cl.enqueue_copy(queue, a_buff, a, is_blocking=False)
event1.wait()
print(f'Copy time blocking 1: {dt()-start:0.4f} s')

start = dt()
event2 = cl.enqueue_copy(queue, a_buff, a, is_blocking=False)
event2.wait()
print(f'Copy time blocking 2: {dt()-start:0.4f} s')

start = dt()
event3 = cl.enqueue_copy(queue, a_buff, a, is_blocking=False)
print(f'Copy time non-blocking 1: {dt()-start:0.4f} s')

控制台输出：

Buffer creation time: 0.8559 s
Copy time blocking 1: 1.1018 s
Copy time blocking 2: 0.4177 s
Copy time non-blocking 1: 0.4364 s

我发现即使设置了is_blocking=False，阻塞和非阻塞拷贝的时间几乎一样。我之前看到过，如果不保留拷贝返回的NannyEvent对象直到传输完成，操作还是会阻塞，但我已经保留了事件对象，这也没起作用。另外，第一次拷贝到缓冲区的时间明显比第二次长。

我的问题是：如何才能实现真正的非阻塞行为？

问题分析与解决方法 #

我来帮你拆解下这两个核心问题，以及如何实现真正的非阻塞并行：

1. 为什么非阻塞拷贝看起来和阻塞拷贝时间差不多？

你这里的时间测量方式其实有个小误区：

• 对于前两个调用了event.wait()的例子，你测量的是拷贝完全完成的时间（因为wait()会阻塞主机直到GPU端拷贝结束）。
• 而第三个非阻塞的例子，你测量的是主机端提交拷贝任务到命令队列的时间，不是拷贝完成的时间！is_blocking=False的作用是让主机不用等拷贝完成就继续执行后续代码，所以你看到的0.4364s其实只是提交任务的耗时，此时GPU可能还在后台执行拷贝操作。

如果要验证非阻塞是否真的生效，你需要在提交拷贝后，让主机执行一些其他计算任务，之后再等待拷贝完成，再统计总时间。比如这样修改代码：

start = dt()
event3 = cl.enqueue_copy(queue, a_buff, a, is_blocking=False)
# 模拟主机端的其他计算任务
host_compute_time = 0.0
compute_start = dt()
# 比如做一些CPU端的数值计算
temp = np.sum(a)
host_compute_time = dt() - compute_start
# 等待拷贝完成
event3.wait()
total_time = dt() - start
print(f'Total time (copy + host compute): {total_time:0.4f} s')
print(f'Host compute time alone: {host_compute_time:0.4f} s')

如果非阻塞生效，total_time应该会接近max(拷贝时间, 主机计算时间)，而不是两者相加，这就说明内存传输和主机计算并行起来了。

2. 为什么第一次拷贝比第二次慢？

这是很常见的GPU预热现象：

• 第一次拷贝时，GPU需要完成缓冲区的实际物理内存分配、建立主机内存与GPU内存的映射关系，甚至驱动层面的一些初始化操作，这些额外开销会让第一次操作变慢。
• 第二次及之后的拷贝，这些初始化工作已经完成，只需要执行数据传输本身，所以速度会明显提升。

3. 实现真正非阻塞的关键要点

• 确保保留enqueue_copy返回的事件对象，避免被Python的垃圾回收机制提前回收（这就是你提到的NannyEvent的作用，PyOpenCL会通过它跟踪异步操作）。
• 不要在提交非阻塞操作后立即调用wait()，而是让主机去执行其他可以并行的任务，最后再等待事件完成或者同步队列。
• 如果要让GPU端的计算和内存传输并行，还可以利用命令队列的异步特性，在提交拷贝事件后，直接提交内核执行任务，并通过事件依赖确保顺序正确（比如让内核等待拷贝完成后再执行）。

备注：内容来源于stack exchange，提问作者MrCheatak