使用cuDNN测试SGEMM时遇到两类问题求助

环境配置 #

• GPU：T1000（SM_75）
• CUDA版本：12.0.1，驱动版本535（Ubuntu 24.04通过multiverse源安装）
• cuDNN版本：9.2.1（压缩包安装）

测试场景 #

测试目标：计算C[stride×stride] = A[stride×stride] × B[stride×stride]，测试代码为sgemm_cudnn_test.cu

问题1：手动配置engine descriptor时小stride值报错 #

你的推测正确，小stride值（256、512）报错确实需要手动调整engine knob参数。

cuDNN手动engine模式下，小矩阵尺寸对优化参数的匹配要求更高，可从以下方向调整：

• 调整CUDNN_ATTR_ENGINE_KNOB_MATH_TYPE，尝试切换为CUDNN_TENSOR_OP_MATH或CUDNN_FMA_MATH，匹配T1000的SM75架构特性
• 检查CUDNN_ATTR_ENGINE_KNOB_ALGORITHM，选择cublas针对小矩阵优化的算法，比如CUBLAS_GEMM_DEFAULT_TENSOR_OP或小矩阵专用算法
• 确认张量内存对齐：小矩阵易出现对齐问题，改用cudaMallocPitch分配矩阵内存，保证内存布局符合硬件要求
• stride=512的断言错误，优先检查engine knob参数是否超出GPU支持范围，或张量描述符的维度/步长设置冲突，用cudnnGetErrorString打印详细错误信息定位

问题2：启发式引擎描述符调用cudnnBackendGetAttribute报CUDNN_STATUS_BAD_PARAM #

该错误多由参数配置或流程遗漏导致，可按以下步骤排查：

1. 检查引擎初始化流程：确保先通过cudnnBackendCreate创建启发式引擎描述符，再依次设置CUDNN_ATTR_ENGINE_HEUR_MODE、CUDNN_ATTR_ENGINE_TENSOR_A/B/C、CUDNN_ATTR_ENGINE_COMPUTE_TYPE等核心属性，最后再调用cudnnBackendGetAttribute
2. 验证属性参数匹配：获取属性时，确认输出缓冲区大小足够、指针类型正确，比如获取算法列表时，需先调用cudnnBackendGetAttribute获取所需缓冲区大小，再分配内存进行二次调用
3. 排查张量描述符错误：启发式引擎依赖准确的张量维度、数据类型、步长信息，若张量描述符的步长与维度不匹配，会直接触发参数错误
4. 版本适配检查：虽然cuDNN 9.2.1与CUDA 12.0.1官方兼容，但T1000属于中端GPU，部分启发式API可能存在适配问题，可尝试简化测试用例，先验证最小可行的启发式引擎流程

内容的提问来源于stack exchange，提问作者sof