RTX3090训练TensorFlow 2.6版MaskRCNN卡顿、GPU利用率偶发骤升问题咨询

• CUDA/CUDNN与TensorFlow版本不兼容：TensorFlow 2.6官方适配的运行环境为CUDA 11.2 + CUDNN 8.1，当前使用的CUDA 11.4.1、CUDNN 8.0.2属于跨版本组合，会触发算子调用时的兼容校验逻辑，甚至部分CUDA算子会直接回退到CPU执行，直接造成CPU占用拉满、GPU长时间等待的现象。
• 自定义业务逻辑未适配GPU：Matterport MaskRCNN原生存在大量基于numpy实现的自定义逻辑，包括锚框生成、正负样本匹配、掩码后处理、mAP指标计算等，若移植到TensorFlow 2.x时未将这部分逻辑替换为支持GPU加速的TF原生算子，而是保留Python原生实现或通过tf.py_function封装调用，每批次训练都会先在CPU侧执行完所有自定义逻辑，才会将数据送入GPU执行前向/反向传播，完全匹配观测到的CPU先占满、GPU间歇跳升的特征。
• 数据流水线参数配置不合理：即使TensorBoard无输入流水线滞后告警，若存在prefetch预取批次设置过小、map/interleave算子的并行度参数未设置为tf.data.AUTOTUNE、开启了严格有序的deterministic=True配置、数据增强逻辑未迁移到GPU侧执行几类问题，都会导致GPU在等待下一批次数据处理完成的过程中出现空转。
• GPU资源调度配置异常：若误配置多GPU训练参数但实际仅使用单张RTX3090、设置了非set_memory_growth的强制GPU内存分配策略、混合精度训练配置错误，都会导致每批次训练前需要在CPU侧完成大量GPU资源调度校验工作，拉长GPU等待周期。

参考截图 #

内容的提问来源于stack exchange，提问作者smitty.werben