CUDA含指针对象从设备到主机拷贝失败问题求助

你碰到的这个问题是CUDA新手常踩的典型坑——带指针的主机对象直接拷贝到设备后，指针本身的值不会自动转换成设备内存地址，而且指针指向的主机数据也没同步到设备。哪怕cudaMemcpy返回cudaSuccess，那也只是成功把主机对象里的字节（包括那个主机指针的值）拷贝到了设备，设备端的a->s还是指向主机内存的地址，而GPU无法直接访问主机内存（除非用零拷贝，但这里明显不是这种场景），所以你在核函数里访问a->s[2]要么读出来是乱码，要么直接触发访问错误。

问题拆解 #

• 普通对象能正常工作：因为普通对象的所有数据都在对象的连续内存块里，cudaMemcpy直接把整个对象的字节拷贝到设备，设备就能正常访问。
• 带指针的对象不行：你的A类里的s是个指针，主机端它指向asd（主机栈上的数组），当你把A对象拷贝到设备后，设备端的s还是这个主机地址，GPU根本找不到这个地址对应的内存，自然读不到正确数据。

解决方案一：手动管理设备内存 #

要让设备能正确访问指针指向的数据，需要分三步处理：

1. 在设备上分配内存存储asd数组的数据
2. 把主机端的asd数组拷贝到设备内存
3. 更新设备端A对象的s指针，让它指向刚才分配的设备数组

修正后的代码示例：

#include <stdio.h>
#include <cuda_runtime.h>

class A { 
public: 
    int *s; 
}; 

__global__ void MethodA(A *a) { 
    printf("%d\n", a->s[2]); // 现在能正确输出2
} 

int main() { 
    A *a = new A(); 
    int asd[] = { 0, 1, 2, 3, 4 }; 
    a->s = asd;

    // 1. 分配设备端的A对象内存
    A *d_a;
    cudaMalloc((void**)&d_a, sizeof(A));

    // 2. 分配设备端数组内存，拷贝主机数组到设备
    int *d_asd;
    cudaMalloc((void**)&d_asd, sizeof(asd));
    cudaMemcpy(d_asd, asd, sizeof(asd), cudaMemcpyHostToDevice);

    // 3. 先在主机端创建临时A对象，让它的s指向设备数组地址
    A temp_a;
    temp_a.s = d_asd;
    // 把临时对象拷贝到设备端的d_a
    cudaMemcpy(d_a, &temp_a, sizeof(A), cudaMemcpyHostToDevice);

    // 调用核函数
    MethodA<<<1,1>>>(d_a);
    cudaDeviceSynchronize(); // 等待核函数执行完成，确保printf输出

    // 释放内存
    cudaFree(d_a);
    cudaFree(d_asd);
    delete a;
    return 0;
}

解决方案二：使用统一内存（Unified Memory） #

如果你的CUDA版本支持（CUDA 6.0及以上），可以用统一内存简化操作，CUDA会自动在主机和设备之间迁移数据，不需要手动拷贝：

#include <stdio.h>
#include <cuda_runtime.h>

class A { 
public: 
    int *s; 
}; 

__global__ void MethodA(A *a) { 
    printf("%d\n", a->s[2]); // 正确输出2
} 

int main() { 
    A *a = new A(); 
    // 用cudaMallocManaged分配统一内存，主机和设备都能访问
    cudaMallocManaged((void**)&a->s, 5 * sizeof(int));
    int asd[] = { 0, 1, 2, 3, 4 }; 
    // 直接在主机端给统一内存赋值
    for(int i=0; i<5; i++){
        a->s[i] = asd[i];
    }

    // 分配设备端的A对象内存
    A *d_a;
    cudaMalloc((void**)&d_a, sizeof(A));
    // 直接拷贝主机的A对象到设备，因为s指向的是统一内存地址，设备能识别
    cudaMemcpy(d_a, a, sizeof(A), cudaMemcpyHostToDevice);

    MethodA<<<1,1>>>(d_a);
    cudaDeviceSynchronize();

    // 释放统一内存和设备内存
    cudaFree(a->s);
    cudaFree(d_a);
    delete a;
    return 0;
}

额外提醒 #

一定要养成检查CUDA API返回值的习惯，哪怕cudaMemcpy返回成功，后续的核函数执行可能有隐藏错误，比如用cudaGetLastError()检查核函数启动错误，cudaDeviceSynchronize()同步后检查错误，这样能更快定位问题。

内容的提问来源于stack exchange，提问作者Tóth Bence