拆分cudaMalloc与cudaMemcpy到不同函数后运行异常的排查与优化

问题根源 #

修改后的代码中，initCuda函数的参数采用值传递，函数内部分配内存后修改的是局部变量的地址，无法将分配好的内存地址传递回processing_loop中的原始指针。导致processing_loop里的h_data、d_data等始终是未初始化的野指针，process_one_image中的cudaMemcpy操作无效地址，最终h_rgb无输出。

修复方案 #

将initCuda的参数改为双重指针，让函数能修改调用者处的指针值，传递正确的内存地址。同时修正原代码中的内存分配尺寸错误，并添加错误检查。

修改后的核心代码 #

my_cuda.cu

#include "cuda_runtime.h"

// 参数改为双重指针，用于传递内存地址
int initCuda(unsigned char **h_data, unsigned char **h_rgb, unsigned char **d_data, unsigned char **d_rgb)
{
    // 需确保size（输入图像内存大小）和size_result（输出RGB内存大小）已正确定义
    *h_data = (unsigned char *)malloc(size);
    *h_rgb = (unsigned char *)malloc(size_result);
    
    // 检查主机内存分配是否成功
    if (*h_data == NULL || *h_rgb == NULL) {
        return -1;
    }

    // 分配设备内存，通过双重指针传递地址
    cudaError_t err = cudaMalloc((void **)d_data, size);
    if (err != cudaSuccess) {
        free(*h_data);
        free(*h_rgb);
        return -2;
    }

    // 修正原代码的错误：d_rgb应分配size_result而非size
    err = cudaMalloc((void **)d_rgb, size_result);
    if (err != cudaSuccess) {
        free(*h_data);
        free(*h_rgb);
        cudaFree(*d_data);
        return -3;
    }

    return 0;
}

int FinalizeCuda(unsigned char *h_data, unsigned char *h_rgb, unsigned char *d_data, unsigned char *d_rgb)
{
    cudaFree(d_data);
    cudaFree(d_rgb);
    free(h_data);
    free(h_rgb);
    return 0;
}

int process_one_image(unsigned char *h_data, unsigned char *h_rgb, unsigned char *d_data, unsigned char *d_rgb)
{
    cudaMemcpy(d_data, h_data, size, cudaMemcpyHostToDevice);
    
    // GPU图像转换处理逻辑...
    
    cudaMemcpy(h_rgb, d_rgb, size_result, cudaMemcpyDeviceToHost);

    // 检查CUDA操作是否出错，便于调试
    cudaError_t err = cudaGetLastError();
    if (err != cudaSuccess) {
        return -1;
    }
    return 0;
}

c_code.c

#include "my_cuda.cu"

int processing_loop(args)
{
    unsigned char *h_data = NULL;
    unsigned char *h_rgb = NULL;
    unsigned char *d_data = NULL;
    unsigned char *d_rgb = NULL;

    // 传递指针的地址，让initCuda能修改这些指针的值
    int ret = initCuda(&h_data, &h_rgb, &d_data, &d_rgb);
    if (ret != 0) {
        // 处理初始化失败的情况
        return ret;
    }

    while (1)
    {
        // 每次循环前，将当前图像数据填充到h_data中
        // ... 图像数据填充逻辑 ...
        
        ret = process_one_image(h_data, h_rgb, d_data, d_rgb);
        if (ret != 0) {
            // 处理图像处理失败的情况
            break;
        }

        // 使用h_rgb中的处理结果...
    }

    FinalizeCuda(h_data, h_rgb, d_data, d_rgb);
    return 0;
}

优化合理性说明 #

单次执行cudaMalloc是非常合理且推荐的优化方式。因为cudaMalloc和cudaFree属于开销较高的设备内存管理操作，在循环中反复执行会大幅降低程序性能。将内存分配移至循环外，复用已分配的主机和设备内存，能有效减少内存管理的开销，提升整体图像处理的吞吐量，这是CUDA程序优化的常见最佳实践。

额外注意事项 #

• 确保size和size_result的计算与图像分辨率、像素格式匹配，避免内存越界
• 所有CUDA操作后建议检查返回值，快速定位错误
• 循环中每次处理前必须更新h_data中的图像数据，避免重复处理旧数据

内容的提问来源于stack exchange，提问作者dongrixinyu