tensorflow-gpu在RTX 3080设备上简单计算耗时过长问题咨询

异常根因 #

该性能异常由显卡硬件架构与TensorFlow编译环境不兼容导致：

• RTX 3080笔记本显卡属于NVIDIA安培架构，硬件计算能力为8.6，仅CUDA 11.1及以上版本提供该算力等级的原生支持。
• 你安装的TensorFlow 2.3基于CUDA 10.1编译，内置支持的CUDA计算能力最高为7.5，与RTX 3080的8.6算力不匹配。
• 程序虽然可以正常识别GPU、加载CUDA动态库，但不存在适配8.6架构的预编译算子内核，运行时会触发即时编译生成适配内核，该编译过程占用了绝大多数耗时，才会出现简单计算耗时近4分钟的异常，部分场景下甚至会直接降级为CPU执行，性能远低于正常水平。

修复建议 #

• 优先升级TensorFlow到2.7及以上版本，搭配CUDA 11.2+、cuDNN 8.1+的依赖环境，这类新版本已原生支持安培架构8.6算力显卡，安装完成即可恢复正常GPU加速性能。
• 若必须使用2.3版本的TensorFlow，需要手动下载对应版本源码，添加8.6算力的编译选项后自行编译二进制包使用。

内容的提问来源于stack exchange，提问作者Arun