You need to enable JavaScript to run this app. pycuda上下文push/pop操作后CuPy抛出CUDA_ERROR_INVALID_HANDLE错误
优惠活动
大模型
产品
解决方案
定价
更多

pycuda上下文push/pop操作后CuPy抛出CUDA_ERROR_INVALID_HANDLE错误

问题描述

我目前使用TensorRT基于CUDA执行推理任务,希望使用CuPy对输入TensorRT引擎的图像进行预处理。预处理函数my_function在不同调用间隔未运行TensorRT时可正常工作;问题并非直接由TensorRT引发,而是TensorRT推理流程需要被包裹在pycuda上下文的push与pop操作中。
针对如下代码的运行逻辑,最后一次执行my_function时会抛出以下错误:

File "/home/ubuntu/myfile.py", line 188, in _pre_process_cuda
    img = ndimage.zoom(img, scaling_factor)
  File "/home/ubuntu/.local/lib/python3.6/site-packages/cupyx/scipy/ndimage/interpolation.py", line 482, in zoom
    kern(input, zoom, output)
  File "cupy/core/_kernel.pyx", line 822, in cupy.core._kernel.ElementwiseKernel.__call__
  File "cupy/cuda/function.pyx", line 196, in cupy.cuda.function.Function.linear_launch
  File "cupy/cuda/function.pyx", line 164, in cupy.cuda.function._launch
  File "cupy_backends/cuda/api/driver.pyx", line 299, in cupy_backends.cuda.api.driver.launchKernel
  File "cupy_backends/cuda/api/driver.pyx", line 124, in cupy_backends.cuda.api.driver.check_status
cupy_backends.cuda.api.driver.CUDADriverError: CUDA_ERROR_INVALID_HANDLE: invalid resource handle

注意:如下代码未粘贴完整的TensorRT推理逻辑,实际上仅对pycuda上下文执行push和pop操作就会触发该错误。
示例代码:

import numpy as np
import cv2
import time
from PIL import Image
import requests
from io import BytesIO
from matplotlib import pyplot as plt
import cupy as cp
from cupyx.scipy import ndimage
import tensorrt as trt
import pycuda.driver as cuda
import pycuda.autoinit


def my_function(numpy_frame):
    dtype = 'float32'
    img = cp.array(numpy_frame, dtype='float32')
    img = ndimage.zoom(img, (0.5, 0.5, 3))
    img = (cp.array(2, dtype=dtype) / cp.array(255, dtype=dtype)) * img - cp.array(1, dtype=dtype)
    img = img.transpose((2, 0, 1))
    img = img.ravel()
    return img


# load image
url = "https://www.pexels.com/photo/109919/download/?search_query=&tracking_id=411xe21veam"
response = requests.get(url)
img = Image.open(BytesIO(response.content))
img = np.array(img)

# initialize tensorrt
TRT_LOGGER = trt.Logger(trt.Logger.WARNING)
trt_runtime = trt.Runtime(TRT_LOGGER)
cfx = cuda.Device(0).make_context()


my_function(img)  # 正常运行
my_function(img)  # 正常运行

# ----- TENSORRT ---------
cfx.push()
# .... tensorrt inference....
cfx.pop()
# ----- TENSORRT ---------

my_function(img)  # 触发报错

其他测试用例同样会触发相同错误:

cfx.push()
my_function(img)  # 正常运行
cfx.pop()

cfx.push()
my_function(img)  # 触发报错
cfx.pop()

问题原因

冲突来源于三点:

  • 导入pycuda.autoinit时,模块会自动创建并push一个独立的CUDA上下文,和你手动创建的cfx是两个完全独立的实例,各自有独立的内存、Kernel资源空间。
  • cuda.Device.make_context()默认会自动将新建的上下文push到栈顶,不需要额外调用cfx.push(),额外的push会导致上下文栈出现冗余条目。
  • CuPy在第一次调用CUDA API时会缓存当前栈顶的上下文句柄,后续不会主动检测PyCUDA上下文栈的变化,当栈顶上下文和缓存句柄不匹配时,就会抛出无效资源句柄错误。
修复方案

按优先级依次调整:

  • 移除pycuda.autoinit的导入,避免自动创建冲突的上下文。
  • 去掉手动重复调用的cfx.push(),保留make_context()自动push的上下文即可,除非需要切换其他设备/上下文,否则无需额外pop/push。
  • 手动创建cfx后,显式让CuPy绑定复用这个上下文,避免自行绑定其他上下文:
    cfx = cuda.Device(0).make_context()
    # 绑定PyCUDA上下文到CuPy
    cp_cfx = cp.cuda.Context(cfx.handle)
    cp.cuda.Context.set_current(cp_cfx)
    
  • 若必须执行push/pop操作,严格保证配对正确,且在每次pop之后调用cp.cuda.Device(0).use()刷新CuPy的上下文缓存,让它重新获取当前栈顶的活动上下文:
    cfx.push()
    # TensorRT推理逻辑
    cfx.pop()
    # 刷新CuPy上下文
    cp.cuda.Device(0).use()
    
  • 若仍存在冲突,可在导入CuPy之前设置环境变量,强制CuPy使用PyCUDA管理的上下文栈:
    import os
    os.environ["CUPY_CUDA_CONTEXT"] = "0"  # 禁用CuPy自身的上下文管理
    

内容的提问来源于stack exchange,提问作者user1315621

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.12 05:06:10