手动构建CUDA Fatbin调用cuFuncIsLoaded时触发段错误求助

出于学习目的，我手动组装自己的CUDA fatbin文件，并使用CUDA Driver API执行。目标是启动核函数并在CPU上显示其运行结果，但需正确加载该核函数。

运行程序时出现段错误，我对GPU代码加载的理解存在偏差，恳请协助分析问题所在。

我清楚需创建设备指针、分配内存并完成主机与设备间的内存拷贝，但认为这些操作应在代码加载后执行。

以下是最小化参考代码：

CUresult res = cuInit(0);

CUdevice device;
cuDeviceGet(&device, 0);

CUcontext context;
cuCtxCreate(&context, nullptr, 0, device);

//read contents of .fatbin file into buffer
CUmodule module;
cuModuleLoadFatBinary(&module, buffer.data());

CUfunction function;
cuModuleGetFunction(&function, module, "name of function");

cuFuncLoad(function);

CUfunctionLoadingState* state; // SEGFAULTS here
cuFuncIsLoaded(state, function);

段错误发生在调用cuFuncIsLoaded(state, function)时。

补充信息：

• Nvidia显卡型号：GeForce GTX 1660
• Nvidia驱动版本：580.126.09
• CUDA版本：13.0
• NVCC版本：13.0
• Clang++版本：18.1.3

直接段错误原因 #

你声明了CUfunctionLoadingState* state;但未为其分配内存，这是一个野指针。cuFuncIsLoaded需要将函数加载状态写入第一个参数指向的内存空间，向野指针写入数据直接触发段错误。正确做法是先创建一个栈上的变量，再传递其地址：

CUfunctionLoadingState state;
cuFuncIsLoaded(&state, function);

其他API使用误区 #

1. 多余的cuFuncLoad调用：调用cuModuleLoadFatBinary加载模块后，模块内的函数会自动完成加载，无需手动调用cuFuncLoad。该函数仅适用于动态加载JIT编译代码等特殊场景，常规模块加载流程不需要它。
2. 未检查API返回值：所有CUDA Driver API调用都可能失败（比如fatbin文件读取错误、函数名不匹配、设备初始化失败等），必须检查每个函数的返回值，否则无法提前定位加载过程中的隐性问题。
3. cuCtxCreate参数错误：第二个参数是上下文标志位，不能传nullptr，应传入合法的标志值（比如0表示默认配置）。

修正后的核心代码示例 #

CUresult res = cuInit(0);
if (res != CUDA_SUCCESS) { /* 处理初始化错误，比如打印错误信息 */ }

CUdevice device;
res = cuDeviceGet(&device, 0);
if (res != CUDA_SUCCESS) { /* 处理设备获取错误 */ }

CUcontext context;
res = cuCtxCreate(&context, 0, device);
if (res != CUDA_SUCCESS) { /* 处理上下文创建错误 */ }

// 确保buffer已正确读取fatbin文件内容
CUmodule module;
res = cuModuleLoadFatBinary(&module, buffer.data());
if (res != CUDA_SUCCESS) { /* 处理模块加载错误 */ }

CUfunction function;
res = cuModuleGetFunction(&function, module, "name of function");
if (res != CUDA_SUCCESS) { /* 处理函数获取错误，比如检查函数名是否匹配 */ }

// 检查函数加载状态
CUfunctionLoadingState state;
res = cuFuncIsLoaded(&state, function);
if (res == CUDA_SUCCESS) {
    if (state == CU_FUNCTION_LOADED) {
        // 函数已加载，可继续执行内存分配、核函数启动等后续操作
    }
}

内容的提问来源于stack exchange，提问作者Ryunosuke Yanashita