TensorFlow 2.5训练GAN时GPU利用率波动异常相关问题咨询

1. 训练GAN时GPU利用率波动较大是否属于正常现象？ #

大部分场景下属于正常现象。GAN的核心训练逻辑是生成器、判别器交替迭代训练，两个网络的参数量、计算量本身存在差异，同时常规训练策略会设置不同的训练步长比（比如每训练2次判别器再训练1次生成器），天然会造成GPU计算负载的周期性波动。如果排除硬件、数据加载的故障性问题，小幅或周期性的GPU利用率波动不需要额外处理。

2. 有哪些方法可以让GPU运行性能更稳定？ #

• 固定生成器与判别器的训练步长比例，不要使用动态调整训练步数的策略，避免计算负载无规律变动
• 尽量将数据增强、图像预处理逻辑迁移到GPU侧执行，使用tf.keras.layers.Resizing、tf.keras.layers.RandomFlip等支持GPU加速的预处理层，减少CPU侧计算的等待耗时
• 手动调整prefetch缓冲区大小，可尝试设置为prefetch(buffer_size=2)或prefetch(buffer_size=4)，匹配你当前的batch size配置，不要完全依赖tf.data.AUTOTUNE的自动调度
• 固定训练batch size，关闭动态batch、动态梯度累积等会改变单次训练计算量的配置

3. 如何优化训练性能以实现GPU的充分利用？ #

• 首先检查你的数据加载流程代码是否存在语法问题，正确的优化写法应为loadedDataset.cache().repeat().prefetch(tf.data.AUTOTUNE)，你描述的loadedDataset.cache().repeat.prefetch写法未调用repeat()方法，会导致数据加载流程无法正常循环，大概率是造成GPU等数据的核心原因
• 开启混合精度训练，调用tf.keras.mixed_precision.set_global_policy('mixed_float16')，RTX3070支持FP16 Tensor Core加速，开启后可降低30%左右的显存占用，同时提升计算效率，你可以在此基础上适当调大batch size，batch size越大GPU的计算单元利用率越高
• 直接在tf.keras.preprocessing.image_dataset_from_directory接口中指定image_size=(128,128)，不要在后续的map映射函数中额外做resize操作，减少CPU侧的冗余计算
• 如果你的数据集规模小于10万张128*128图像，可直接使用内存缓存，即cache()不指定磁盘路径，完全跳过训练过程中的磁盘读取步骤
• 使用tf.function装饰训练步函数，关闭不必要的Eager Execution调度开销，让计算图完全在GPU侧执行

内容的提问来源于stack exchange，提问作者Atif Anwer