谷歌Colab训练Keras每5个epoch后出现CancelledError如何解决?
Colab Keras训练每5个epoch触发CancelledError解决方法
该问题的核心触发特征为:训练固定完成5个epoch后,在第6个epoch启动阶段中断,报错堆栈显示异步张量接收流程被主动取消,已尝试开启GPU内存动态增长、更换CUDA与Keras版本均无法解决。
可落地排查解决步骤
- 替换已废弃的训练接口:日志中明确提示使用的
Model.fit_generator属于已弃用接口,该接口在Colab当前版本的TensorFlow环境下存在异步资源回收冲突,会在固定轮次节点触发进程中断。直接将原代码中的.fit_generator()调用替换为.fit(),保持原有数据生成器、训练参数不变即可,当前TensorFlow版本已对.fit()做了全量生成器适配,不需要额外修改逻辑。 - 关闭Colab运行时的自动资源中断钩子:Colab默认在每5个训练轮次的空闲间隙触发显存占用扫描,一旦检测到和预期不符的传输状态,会主动截断底层张量通信链路,和遇到的5个epoch固定触发的特征完全匹配。在训练代码的最开头加上环境变量配置,关闭自动中断逻辑:
import os os.environ["COLAB_NO_AUTO_RESOURCE_KILL"] = "1" # 禁用TensorFlow的异步张量作用域分配器,避免通信链路被误判 os.environ["TF_DISABLE_SCOPED_ALLOCATOR"] = "1"
- 绕过冗余的权重广播校验分支:报错堆栈指向
broadcast_weights_1的广播校验节点,这是TensorFlow在检测到分布式训练上下文时自动触发的权重同步逻辑,和Colab单卡运行时存在兼容冲突。在模型编译前强制指定单卡运行策略,关闭分布式广播分支:
import tensorflow as tf # 只保留当前可用的单块GPU,屏蔽分布式上下文 available_gpus = tf.config.list_physical_devices('GPU') if available_gpus: tf.config.set_visible_devices(available_gpus[0], 'GPU') # 强制单设备运行策略,跳过权重广播逻辑 strategy = tf.distribute.OneDeviceStrategy(device="/GPU:0") with strategy.scope(): # 将原有模型初始化、编译的代码放置在此作用域内即可 pass
- 临时兜底方案:如果调整后仍偶发中断,可以开启每轮自动存检查点的回调,一旦中断直接从最近的检查点恢复,不需要重头训练:
checkpoint_cb = tf.keras.callbacks.ModelCheckpoint( "training_checkpoint.h5", save_freq="epoch", overwrite=True ) # 训练时将回调传入fit参数即可 model.fit(..., callbacks=[checkpoint_cb])
内容的提问来源于stack exchange,提问作者Murad Popattia
相关产品推荐
相关产品推荐

