pycuda上下文push/pop操作后CuPy抛出CUDA_ERROR_INVALID_HANDLE错误
问题描述
我目前使用TensorRT基于CUDA执行推理任务,希望使用CuPy对输入TensorRT引擎的图像进行预处理。预处理函数my_function在不同调用间隔未运行TensorRT时可正常工作;问题并非直接由TensorRT引发,而是TensorRT推理流程需要被包裹在pycuda上下文的push与pop操作中。
针对如下代码的运行逻辑,最后一次执行my_function时会抛出以下错误:
File "/home/ubuntu/myfile.py", line 188, in _pre_process_cuda img = ndimage.zoom(img, scaling_factor) File "/home/ubuntu/.local/lib/python3.6/site-packages/cupyx/scipy/ndimage/interpolation.py", line 482, in zoom kern(input, zoom, output) File "cupy/core/_kernel.pyx", line 822, in cupy.core._kernel.ElementwiseKernel.__call__ File "cupy/cuda/function.pyx", line 196, in cupy.cuda.function.Function.linear_launch File "cupy/cuda/function.pyx", line 164, in cupy.cuda.function._launch File "cupy_backends/cuda/api/driver.pyx", line 299, in cupy_backends.cuda.api.driver.launchKernel File "cupy_backends/cuda/api/driver.pyx", line 124, in cupy_backends.cuda.api.driver.check_status cupy_backends.cuda.api.driver.CUDADriverError: CUDA_ERROR_INVALID_HANDLE: invalid resource handle
注意:如下代码未粘贴完整的TensorRT推理逻辑,实际上仅对pycuda上下文执行push和pop操作就会触发该错误。
示例代码:
import numpy as np import cv2 import time from PIL import Image import requests from io import BytesIO from matplotlib import pyplot as plt import cupy as cp from cupyx.scipy import ndimage import tensorrt as trt import pycuda.driver as cuda import pycuda.autoinit def my_function(numpy_frame): dtype = 'float32' img = cp.array(numpy_frame, dtype='float32') img = ndimage.zoom(img, (0.5, 0.5, 3)) img = (cp.array(2, dtype=dtype) / cp.array(255, dtype=dtype)) * img - cp.array(1, dtype=dtype) img = img.transpose((2, 0, 1)) img = img.ravel() return img # load image url = "https://www.pexels.com/photo/109919/download/?search_query=&tracking_id=411xe21veam" response = requests.get(url) img = Image.open(BytesIO(response.content)) img = np.array(img) # initialize tensorrt TRT_LOGGER = trt.Logger(trt.Logger.WARNING) trt_runtime = trt.Runtime(TRT_LOGGER) cfx = cuda.Device(0).make_context() my_function(img) # 正常运行 my_function(img) # 正常运行 # ----- TENSORRT --------- cfx.push() # .... tensorrt inference.... cfx.pop() # ----- TENSORRT --------- my_function(img) # 触发报错
其他测试用例同样会触发相同错误:
cfx.push() my_function(img) # 正常运行 cfx.pop() cfx.push() my_function(img) # 触发报错 cfx.pop()
问题原因
冲突来源于三点:
- 导入
pycuda.autoinit时,模块会自动创建并push一个独立的CUDA上下文,和你手动创建的cfx是两个完全独立的实例,各自有独立的内存、Kernel资源空间。 cuda.Device.make_context()默认会自动将新建的上下文push到栈顶,不需要额外调用cfx.push(),额外的push会导致上下文栈出现冗余条目。- CuPy在第一次调用CUDA API时会缓存当前栈顶的上下文句柄,后续不会主动检测PyCUDA上下文栈的变化,当栈顶上下文和缓存句柄不匹配时,就会抛出无效资源句柄错误。
修复方案
按优先级依次调整:
- 移除
pycuda.autoinit的导入,避免自动创建冲突的上下文。 - 去掉手动重复调用的
cfx.push(),保留make_context()自动push的上下文即可,除非需要切换其他设备/上下文,否则无需额外pop/push。 - 手动创建
cfx后,显式让CuPy绑定复用这个上下文,避免自行绑定其他上下文:cfx = cuda.Device(0).make_context() # 绑定PyCUDA上下文到CuPy cp_cfx = cp.cuda.Context(cfx.handle) cp.cuda.Context.set_current(cp_cfx) - 若必须执行
push/pop操作,严格保证配对正确,且在每次pop之后调用cp.cuda.Device(0).use()刷新CuPy的上下文缓存,让它重新获取当前栈顶的活动上下文:cfx.push() # TensorRT推理逻辑 cfx.pop() # 刷新CuPy上下文 cp.cuda.Device(0).use() - 若仍存在冲突,可在导入CuPy之前设置环境变量,强制CuPy使用PyCUDA管理的上下文栈:
import os os.environ["CUPY_CUDA_CONTEXT"] = "0" # 禁用CuPy自身的上下文管理
内容的提问来源于stack exchange,提问作者user1315621
相关产品推荐
相关产品推荐

