如何判断CUDA设备的共享内存bank大小是否为固定值

方法1：使用CUDA运行时API实现 #

该方案通过尝试切换bank大小并验证是否生效来判断，兼容性最强，不会触发错误，且最终会恢复原有配置不影响后续业务代码：

#include <cuda_runtime.h>

bool supportsMultiBankSizes(int deviceId = 0) {
    int originalBankSize;
    // 读取当前设备的bank大小
    if (cudaDeviceGetAttribute(&originalBankSize, cudaDevAttrSharedMemoryBankSize, deviceId) != cudaSuccess) {
        return false;
    }

    // 尝试切换到另一个可选的bank大小
    int targetSize = originalBankSize == 4 ? 8 : 4;
    cudaSharedMemConfig targetConfig = targetSize == 4 ? 
        cudaSharedMemBankSizeFourByte : cudaSharedMemBankSizeEightByte;
    if (cudaDeviceSetSharedMemConfig(deviceId, targetConfig) != cudaSuccess) {
        return false;
    }

    // 验证切换是否生效
    int newBankSize;
    if (cudaDeviceGetAttribute(&newBankSize, cudaDevAttrSharedMemoryBankSize, deviceId) != cudaSuccess) {
        return false;
    }

    // 恢复原来的bank配置
    cudaSharedMemConfig originalConfig = originalBankSize ==4 ?
        cudaSharedMemBankSizeFourByte : cudaSharedMemBankSizeEightByte;
    cudaDeviceSetSharedMemConfig(deviceId, originalConfig);

    return newBankSize == targetSize;
}

方法2：使用CUDA驱动API实现 #

逻辑和运行时API一致，适配使用驱动API的场景：

#include <cuda.h>

bool supportsMultiBankSizesDriver(CUdevice device) {
    int originalBankSize;
    if (cuDeviceGetAttribute(&originalBankSize, CU_DEVICE_ATTRIBUTE_SHARED_MEMORY_BANK_SIZE, device) != CUDA_SUCCESS) {
        return false;
    }

    CUsharedconfig targetConfig = originalBankSize ==4 ? 
        CU_SHARED_MEM_CONFIG_FOUR_BYTE_BANK_SIZE : CU_SHARED_MEM_CONFIG_EIGHT_BYTE_BANK_SIZE;
    if (cuCtxSetSharedMemConfig(targetConfig) != CUDA_SUCCESS) {
        return false;
    }

    int newBankSize;
    if (cuDeviceGetAttribute(&newBankSize, CU_DEVICE_ATTRIBUTE_SHARED_MEMORY_BANK_SIZE, device) != CUDA_SUCCESS) {
        return false;
    }

    CUsharedconfig originalConfig = originalBankSize ==4 ? 
        CU_SHARED_MEM_CONFIG_FOUR_BYTE_BANK_SIZE : CU_SHARED_MEM_CONFIG_EIGHT_BYTE_BANK_SIZE;
    cuCtxSetSharedMemConfig(originalConfig);

    return newBankSize == (targetConfig == CU_SHARED_MEM_CONFIG_FOUR_BYTE_BANK_SIZE ? 4 : 8);
}

无配置修改的快速判断方案 #

如果不需要兼容特殊定制设备，也可以直接通过计算能力判断：计算能力主版本号≥3的设备（Kepler及更新架构）均支持4字节/8字节两种bank大小配置，主版本号<3的设备仅支持固定4字节bank大小，不需要修改任何设备配置即可快速判断。

内容的提问来源于stack exchange，提问作者einpoklum