CUDA中CUdeviceptr转uchar**触发非法内存访问错误700的解决方法

错误根源 #

你当前的代码核心错误是混淆了原始数据内存和指针数组内存的用途：

• 你用cuMemAlloc分配的16字节是原始uchar类型数据的存储空间（每个uchar占1字节，共16个值为1的uchar）
• 但你把它强制转换成了uchar**类型，这个类型要求指向的内存中每个元素是8字节的设备指针（64位CUDA环境下）
• 内核中val[bid]会尝试读取bid * sizeof(uchar*)位置的8字节数据当作设备指针，而你只分配了16字节，当bid >= 2时直接越界；就算bid < 2，读取到的是0x0101010101010101这种无效地址，解引用必然触发非法内存访问。

正确实现方案 #

根据你的实际需求，分两种场景给出解决方案：

场景1：仅需让线程访问单个uchar值（无需指针数组） #

如果你的目标是让每个线程访问一个独立的uchar值，完全不需要使用uchar**，直接用uchar*即可：

主机端修改代码

CUdeviceptr v1;
checkCudaResult(cuMemAlloc((CUdeviceptr*)&v1, 16));
checkCudaErrors(cudaMemset((void*)v1, 1, 16));
// 直接转换为uchar*，而非uchar**
uchar* v1char = (uchar*)v1;
foo_double<<<4,4>>>(v1char);
checkCudaResult(cuMemFree(v1));

内核修改代码

__global__ void foo_double(uchar* val) {
  unsigned int bid = blockIdx.x * blockDim.x + threadIdx.x;
  // 必须添加边界检查，避免线程数量超过内存分配大小
  if (bid < 16) {
    printf("%d:%d\n", bid, val[bid]);
  }
}

场景2：确实需要使用uchar**（访问指针数组） #

如果你的需求是让每个线程获取一个指向不同uchar数组的设备指针，需要先分配存储指针数组的设备内存，再将各个uchar数组的指针拷贝到其中：

主机端修改代码

// 1. 先为16个独立的uchar数组分配设备内存
CUdeviceptr uchar_arrays[16];
for (int i = 0; i < 16; i++) {
    checkCudaResult(cuMemAlloc(&uchar_arrays[i], 1));
    // 给每个数组写入不同值，方便验证
    checkCudaErrors(cudaMemset((void*)uchar_arrays[i], 1 + i, 1));
}

// 2. 分配存储指针数组的设备内存（16个指针，每个8字节，共128字节）
CUdeviceptr v1;
checkCudaResult(cuMemAlloc((CUdeviceptr*)&v1, 16 * sizeof(uchar*)));

// 3. 将主机端的指针数组拷贝到设备内存
checkCudaResult(cuMemcpyHtoD(v1, uchar_arrays, 16 * sizeof(uchar*)));

// 4. 转换为uchar**传入内核
uchar** v1char = (uchar**)v1;
foo_double<<<4,4>>>(v1char);

// 5. 释放所有设备内存（先释放子数组，再释放指针数组）
checkCudaResult(cuMemFree(v1));
for (int i = 0; i < 16; i++) {
    checkCudaResult(cuMemFree(uchar_arrays[i]));
}

内核代码（仅需添加边界检查）

__global__ void foo_double(uchar** val) {
  unsigned int bid = blockIdx.x * blockDim.x + threadIdx.x;
  if (bid < 16) {
    uchar* val_ = val[bid];
    printf("%d:%d\n", bid, *val_);
  }
}

关键注意事项 #

• 64位CUDA环境下，设备指针固定占8字节，分配指针数组内存时必须按指针数量 * sizeof(void*)计算大小
• 所有内存访问必须添加边界检查，避免线程数量超过内存分配范围
• 不要随意强制转换指针类型，必须保证转换后的指针类型与内存中存储的数据结构匹配

内容的提问来源于stack exchange，提问作者Sai Krishna Sirimisetty