TensorFlow训练神经网络GPU未正常生效 训练速度远慢于Colab求助
本地TensorFlow GPU训练速度远低于Colab的解决方案
核心问题原因
- 混用TF 1.x会话配置与TF 2.x默认执行逻辑:你代码中调用
tf.compat.v1.ConfigProto手动设置会话的操作,会禁用TF 2.x默认的eager执行优化、图编译优化和cuDNN自动调优机制,是速度下降40倍的核心诱因。 - 数据加载无优化:直接将numpy数组传入
model.fit,没有开启数据预取、缓存机制,每次训练迭代都需要重复将数据从CPU内存拷贝到GPU显存,额外增加了IO耗时。 - 未开启加速特性:默认未开启XLA线性代数加速、混合精度训练等官方优化特性,无法充分发挥GPU算力。
修复方案
第一步:删除冗余的TF 1.x兼容代码
删掉代码中以下片段,TF 2.x会自动检测GPU并分配资源,无需手动配置会话:
from keras import backend as K from keras import backend as K K._get_available_gpus() import keras config = tf.compat.v1.ConfigProto( device_count = {'GPU': 1 , 'CPU': 56} ) sess = tf.compat.v1.Session(config=config) keras.backend.set_session(sess)
第二步:添加全局加速配置
在代码导入依赖的最开头添加以下配置:
# 开启XLA线性代数加速,可提升卷积运算速度30%以上 tf.config.optimizer.set_jit(True) # 开启混合精度训练,显存占用减半,训练速度提升1-2倍 tf.keras.mixed_precision.set_global_policy('mixed_float16')
第三步:优化数据加载逻辑
将numpy格式的训练数据转换为tf.data.Dataset格式,开启预取和缓存:
# 替换原有的model.fit调用逻辑 train_ds = tf.data.Dataset.from_tensor_slices((images_train, labels_train)).shuffle(1000).batch(10).prefetch(tf.data.AUTOTUNE).cache() val_ds = tf.data.Dataset.from_tensor_slices((images_test, labels_test)).batch(10).prefetch(tf.data.AUTOTUNE) history = model.fit(train_ds, epochs=20, validation_data=val_ds)
效果验证
修改完成后运行代码,首先确认控制台输出混合精度、XLA相关的启用提示,训练时打开系统资源监控查看GPU利用率,正常应该稳定在80%以上,单步训练耗时会和Colab持平甚至更快(取决于本地GPU硬件性能)。
内容的提问来源于stack exchange,提问作者Mieszko Pasierbek
相关产品推荐
相关产品推荐

