使用cuDNN后端创建Fused Attention fprop图时执行计划无法完成

一、核心原因排查 #

1. 张量布局/步长不达标 #

CuDNN Fused Attention对张量内存布局要求极严，形状正确但步长不符合规范会直接导致不支持：

• 所有输入输出张量必须满足连续内存布局，比如形状为[batch, head, seq_len, dim]的张量，步长需为[head*seq_len*dim, seq_len*dim, dim, 1]。非连续张量要提前转为连续内存，或用cudnnSetTensorNdDescriptor手动指定正确步长。
• 维度顺序必须匹配CuDNN要求，通常是[batch, head, seq_len, dim]，若用了NHWC这类非常规顺序，必须转置调整。

2. 操作组合不符合版本支持范围 #

当仅结合两个矩阵乘法（g3、g4为空）时，部分CuDNN版本的Fused Attention图模式要求必须包含完整注意力链：

• 至少要覆盖Q*K^T、softmax、乘V这三步，仅两个矩阵乘法不在支持的操作组合里。可以先补充softmax操作（哪怕用占位符），再尝试生成执行计划。
• 核对cudnnFusedAttentionGraphCreate的操作序列，确保输入输出依赖正确，没有未定义的操作类型。

3. 引擎配置与硬件不兼容 #

启发式返回的配置可能适配其他硬件架构，或当前硬件不支持该配置的精度/数据类型：

• 检查数据类型：float16需要Turing及以上GPU，bfloat16需要Ampere及以上GPU，同时要在张量描述符中正确设置对应的类型（比如CUDNN_TENSOR_HALF）。
• 查看cudnnFusedAttentionHeuristicResult里的algo和mathType，某些算法仅支持特定Compute Capability，可手动指定兼容算法（比如CUDNN_FUSED_ATTENTION_ALGO_STANDARD）测试。

4. 图模式初始化参数错误 #

• 确认cudnnFusedAttentionGraphDescriptor_t初始化正确：注意力类型（自/交叉）、mask类型（无mask时设为CUDNN_ATTENTION_MASK_NONE）都要配置准确。
• 检查cudnnFusedAttentionPlanCreate的参数：workspaceSize要足够，流（stream）和指针传入不能出错。

二、具体修改建议 #

• 强制张量连续：创建张量描述符前，用cudaMallocPitch分配连续内存，或把现有张量复制到连续缓冲区。
• 补全操作链：给图模式添加softmax操作，构建完整的注意力计算流程，再尝试生成执行计划。
• 手动指定兼容算法：跳过启发式，直接指定当前硬件支持的算法（参考CuDNN文档），测试是否能生成有效执行计划。
• 逐项核对描述符参数：仔细检查cudnnSetTensorNdDescriptor、cudnnFusedAttentionGraphSetOperation等函数的参数，确保维度、步长、数据类型完全匹配。

内容的提问来源于stack exchange，提问作者BigWinnz101