调试cudaMemcpyAsync报「invalid memory access」错误：原因与排查

一、无效内存访问的核心原因 #

这里的错误根源是内存分配和拷贝的大小参数完全错误：

1. 设备内存分配环节：cudaMalloc((void**) &B, sizeof(B))中，sizeof(B)取的是指针类型int*的字节数（通常4或8字节，取决于平台），而非你实际需要存储的int数据总字节数。这导致B指向的设备内存空间远小于预期，后续拷贝操作必然触发越界访问。
2. 拷贝操作环节：cudaMemcpyAsync的第三个参数sizeof(B)同样错误，没有匹配实际要拷贝的数据量，进一步加剧内存越界问题。

无效访问的对象大概率是设备端B指针指向的内存区域——因为分配的空间过小，拷贝时试图读取超出该区域的内存；另外如果主机端A未分配足够空间，也可能触发主机端内存访问错误，但从代码来看，核心问题集中在B的分配与拷贝大小上。

二、排查与修复方法 #

• 修正内存分配与拷贝的大小参数：
  假设需要存储N个int类型数据，将代码修改为：

  // 分配对应数量int的设备内存
  CHECK_CUDA( cudaMalloc((void**) &B, N * sizeof(int)) );
  // 拷贝对应大小的数据
  CHECK_CUDA( cudaMemcpyAsync(A, B, N * sizeof(int), cudaMemcpyDeviceToHost, stream) );
  

  同时要确保主机端的A已分配至少N * sizeof(int)的内存（比如用malloc或new完成分配）。

• 用CUDA工具定位具体错误：

  • 使用cuda-memcheck：运行程序时执行cuda-memcheck ./your_program，工具会输出详细的内存越界信息，明确指出错误发生在设备端还是主机端，以及具体的访问位置。
  • 使用Nsight系列工具：Nsight Systems或Nsight Compute可以追踪CUDA流的执行过程，定位cudaMemcpyAsync调用时的内存异常，查看指针地址、分配的内存范围，对比确认访问地址是否超出合法区间。

• 验证指针有效性：

  • 在cudaMalloc后检查B是否为非空指针，确保设备内存分配成功。
  • 确认主机端的A是合法的已分配内存指针，未被提前释放或未初始化。

内容的提问来源于stack exchange，提问作者roulette01