cuBLAS是否支持异构输入类型的混合精度矩阵乘法？

核心结论 #

cuBLAS的cublasGemmEx要求输入矩阵A和B的数据类型必须完全一致，这是API的硬性约束，你的报错（错误码15）并非实现疏漏，而是违反了参数规则。

错误码15的触发原因 #

错误码15对应CUBLAS_STATUS_INVALID_VALUE，这里的直接原因就是A（F16）与B（F32）的类型不匹配。当A、B同为F16时参数合法，因此能正常运行。

正确的混合精度使用场景 #

cuBLAS的「混合精度」指的是输入类型与输出类型不同，或计算时采用更高精度的累加逻辑，而非允许两个输入矩阵类型不同。支持的典型组合包括：

• A[F16] * B[F16] = C[F32]（用F32累加F16乘法结果，降低精度损失）
• A[BF16] * B[BF16] = C[F32]
• A[F32] * B[F32] = C[F16]

你的场景的可行解决方案 #

如果需要计算A[F16] * B[F32] = C[F32]，可以选择以下两种方式：

1. 类型转换后计算：先将B矩阵从F32转换为F16，再调用cublasGemmEx完成运算。转换可通过cuBLAS的cublasConvert函数或自定义CUDA核高效实现。
2. 使用更灵活的线性代数库：若不想做类型转换，可考虑NVIDIA的Cutlass库，它支持更灵活的输入类型组合，能直接处理不同类型矩阵的乘法。

关于Robert Crovella的结论 #

Robert Crovella提出的「输入A和B的数据类型必须匹配」完全正确，这是cuBLAS API的明确规则，官方文档虽未高亮强调，但参数约束隐含了这一要求。

内容的提问来源于stack exchange，提问作者dentry