CUDA 11.2是否向下兼容CUDA 10.2编译的应用？

核心结论 #

CUDA 11.2 完全支持运行基于 CUDA 10.2 编译的应用。NVIDIA CUDA 驱动采用向后兼容设计，你集群使用的 460.32.03 版本驱动本身最高支持 CUDA 11.2，同时兼容所有低于 11.2 版本的 CUDA runtime，基础兼容性不存在问题。

异常问题排查方向 #

• 首先验证容器运行时环境是否正常：在容器内执行nvidia-smi检查驱动识别是否正常，执行nvcc -V确认容器内 CUDA runtime 版本为预期的 10.2，避免出现运行时组件挂载错误、环境变量配置错误导致调用了不符合预期的CUDA库
• 检查深度学习框架版本匹配性：如果你使用了PyTorch、TensorFlow等框架，确认你安装的框架预编译包是专门适配 CUDA 10.2 的版本，部分版本框架对CUDA版本有强绑定要求，即使底层驱动兼容，框架层面的版本不匹配也会导致算子计算异常
• 排查 cuDNN 版本兼容问题：你的基础镜像使用的是 cuDNN7，部分旧版本 cuDNN 的算子实现和高版本驱动搭配使用时可能出现精度异常，建议升级到 CUDA 10.2 支持的最新 7.x 版本 cuDNN 验证
• 验证混合精度配置：如果你的训练/推理流程开启了自动混合精度（AMP），部分旧版本的AMP实现和高版本CUDA驱动搭配时可能出现精度溢出问题，可以先关闭混合精度，使用全FP32精度运行一次验证输出是否正常

如果以上排查都无法定位问题，可以直接基于 CUDA 11.2 的基础镜像重新编译打包你的应用，验证版本对齐后问题是否解决。

内容的提问来源于stack exchange，提问作者Adrian