如何获取静态编译CUDA程序中函数与全局变量对应的CUDA驱动模块句柄

问题背景 #

CUDA运行时API提供了cudaGetSymbolAddress()和cudaGetSymbolSize()函数，可在主机侧代码中直接以源码中的变量标识符为句柄，操作设备端全局变量。
CUDA驱动API中的cuModuleGetGlobal()函数也能实现相同功能，但该函数需要传入全局符号所在的CUmodule参数。动态编译加载的代码可以直接使用加载时返回的模块句柄调用该函数，但如果全局变量是通过NVCC静态编译到程序中、而非运行时动态加载的，就需要先获取静态代码对应的默认模块句柄。

可行解决方案 #

• 方案1：直接使用CUDA运行时内置的未公开符号
  如果你的程序编译时开启了-rdc=true（重定位设备代码）选项，可以直接引用CUDA运行时导出的全局变量__cudaFatCubinHandle，该变量就是静态编译代码对应的默认CUmodule句柄，可直接传入cuModuleGetGlobal()等驱动API接口使用。
  该方案实现简单，缺点是依赖CUDA的内部未公开实现，跨大版本CUDA升级时可能存在兼容性问题。

• 方案2：遍历当前上下文的已加载模块匹配符号
  如果需要更高的兼容性，不想依赖未公开接口，可以按以下步骤实现：

1. 调用cuCtxGetCurrent()获取当前活跃的CUDA上下文句柄
2. 枚举该上下文下所有已加载的CUDA模块
3. 逐个调用cuModuleGetGlobal()尝试查询你需要的全局符号，查询成功即说明当前遍历到的模块就是静态代码对应的默认模块
   该方案兼容性好，缺点是实现代码相对冗长，首次查询符号时会有可忽略的额外性能开销。

额外建议 #

如果你的场景没有必须使用CUDA驱动API的强需求，静态编译场景下优先使用运行时API提供的cudaGetSymbolAddress()系列函数更稳妥，不需要额外处理模块句柄逻辑，接口稳定性也更高。

内容的提问来源于stack exchange，提问作者einpoklum