TensorFlow是否需始终最大化利用CUDA核心？显存满但CUDA使用率低正常吗？

这种现象不正常，通常说明训练流程存在性能瓶颈，核心原因大多是GPU处于等待状态，常见诱因包括：

• 数据加载瓶颈：如果数据预处理（比如图像解码、归一化）在CPU上执行，且CPU处理速度跟不上GPU的计算节奏，GPU就会持续等待数据输入，导致核心使用率低下。此时显存被模型参数、优化器状态、预加载的batch数据占满，但GPU没有足够的计算任务可执行。
• 小batch size设置：若batch size过小，GPU每次计算的任务量太少，短时间内完成计算后就进入等待下一批数据的空闲状态，整体使用率被拉低。
• 模型结构与交互问题：模型中存在大量CPU-GPU数据拷贝操作，或者包含较多依赖Python解释器的自定义层，会打断GPU的连续计算流程，导致使用率波动且维持在低位。
• 硬件或环境问题：GPU驱动版本不匹配、硬件散热异常导致降频，或者多GPU环境下进程分配不合理，也可能引发这类现象。

内容的提问来源于stack exchange，提问作者asikuna