Docker容器中CuPy报错CUDA_ERROR_INVALID_SOURCE的解决求助

核心原因分析 #

该错误本质是CuPy编译生成的CUDA内核无法被当前环境加载，大概率是CUDA Toolkit版本、CuPy版本、NVIDIA驱动版本三者不兼容，或容器内编译环境缺失、缓存损坏导致的。从你的环境信息看：容器内CUDA Toolkit（nvcc版本11.6.124）与安装的cupy-cuda116==10.6.0主版本匹配，但主机驱动（535.129.03，支持最高CUDA 12.2）和容器CUDA 11.6的组合可能存在内核架构兼容问题，同时容器启动参数的权限配置也可能引发冲突。

解决方案 #

1. 升级CuPy到兼容CUDA 11.6的最新版本 #

旧版cupy-cuda116可能存在驱动兼容缺陷，升级到适配CUDA 11.6的最新稳定版：

pip install --upgrade cupy-cuda116

2. 补全容器内编译依赖 #

devel镜像可能缺少基础编译工具，导致内核编译异常：

apt update && apt install -y build-essential gcc g++

3. 简化容器启动参数，避免权限冲突 #

移除不必要的特权配置，减少主机与容器的设备文件冲突：

sudo docker run --name cuda11.6.1-cudnn8 --gpus all -it \
  --env="DISPLAY=$DISPLAY" -v=/tmp/.X11-unix:/tmp/.X11-unix:ro \
  -v=/home/youngjoo/Documents/Elevation_ws:/home/youngjoo/Documents/Elevation_ws \
  -w=/home/youngjoo/Documents/Elevation_ws \
  nvidia/cuda:11.6.1-cudnn8-devel-ubuntu20.04

• 删除--privileged和-v=/dev:/dev，避免不必要的设备权限干扰；
• 用$DISPLAY动态获取主机显示环境，替代硬编码的:0:0。

4. 验证容器内CUDA环境可用性 #

先运行基础CUDA测试，确认工具链正常：

cd /usr/local/cuda/samples/1_Utilities/deviceQuery
make
./deviceQuery

若输出显示Result = PASS，说明CUDA环境正常；若异常，需重新拉取镜像或检查主机GPU驱动。

5. 清理CuPy内核编译缓存 #

缓存的损坏内核可能导致加载失败，删除缓存后重新测试：

rm -rf ~/.cupy/kernel_cache

测试验证 #

完成上述步骤后，重新运行测试代码：

import cupy as cp

cupy_array = cp.array([1, 2, 3])
cupy_result = cupy_array + 5 
print("CuPy Result:", cupy_result)

内容的提问来源于stack exchange，提问作者YJ C