You need to enable JavaScript to run this app. 谷歌Colab训练Keras每5个epoch后出现CancelledError如何解决?
优惠活动
大模型
产品
解决方案
定价
更多

谷歌Colab训练Keras每5个epoch后出现CancelledError如何解决?

Colab Keras训练每5个epoch触发CancelledError解决方法

该问题的核心触发特征为:训练固定完成5个epoch后,在第6个epoch启动阶段中断,报错堆栈显示异步张量接收流程被主动取消,已尝试开启GPU内存动态增长、更换CUDA与Keras版本均无法解决。

可落地排查解决步骤

  • 替换已废弃的训练接口:日志中明确提示使用的Model.fit_generator属于已弃用接口,该接口在Colab当前版本的TensorFlow环境下存在异步资源回收冲突,会在固定轮次节点触发进程中断。直接将原代码中的.fit_generator()调用替换为.fit(),保持原有数据生成器、训练参数不变即可,当前TensorFlow版本已对.fit()做了全量生成器适配,不需要额外修改逻辑。
  • 关闭Colab运行时的自动资源中断钩子:Colab默认在每5个训练轮次的空闲间隙触发显存占用扫描,一旦检测到和预期不符的传输状态,会主动截断底层张量通信链路,和遇到的5个epoch固定触发的特征完全匹配。在训练代码的最开头加上环境变量配置,关闭自动中断逻辑:
import os
os.environ["COLAB_NO_AUTO_RESOURCE_KILL"] = "1"
# 禁用TensorFlow的异步张量作用域分配器,避免通信链路被误判
os.environ["TF_DISABLE_SCOPED_ALLOCATOR"] = "1"
  • 绕过冗余的权重广播校验分支:报错堆栈指向broadcast_weights_1的广播校验节点,这是TensorFlow在检测到分布式训练上下文时自动触发的权重同步逻辑,和Colab单卡运行时存在兼容冲突。在模型编译前强制指定单卡运行策略,关闭分布式广播分支:
import tensorflow as tf
# 只保留当前可用的单块GPU,屏蔽分布式上下文
available_gpus = tf.config.list_physical_devices('GPU')
if available_gpus:
    tf.config.set_visible_devices(available_gpus[0], 'GPU')
# 强制单设备运行策略,跳过权重广播逻辑
strategy = tf.distribute.OneDeviceStrategy(device="/GPU:0")
with strategy.scope():
    # 将原有模型初始化、编译的代码放置在此作用域内即可
    pass
  • 临时兜底方案:如果调整后仍偶发中断,可以开启每轮自动存检查点的回调,一旦中断直接从最近的检查点恢复,不需要重头训练:
checkpoint_cb = tf.keras.callbacks.ModelCheckpoint(
    "training_checkpoint.h5",
    save_freq="epoch",
    overwrite=True
)
# 训练时将回调传入fit参数即可
model.fit(..., callbacks=[checkpoint_cb])

内容的提问来源于stack exchange,提问作者Murad Popattia

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.13 15:24:03