CNN训练出现ResourceExhaustedError错误，求最优处理实践方案

你遇到的是资源耗尽错误（OOM），错误日志显示CPU在分配训练张量时内存不足，核心原因是5.5GB全量数据集直接加载到内存，叠加训练产生的梯度、中间张量等开销，超过了8GB运行内存上限，结合你的硬件配置，可按以下优先级优化：

1. 替换全量加载为流式加载 #

• 使用np.load(文件路径, mmap_mode='r')内存映射模式加载npy文件，不会将全量数据一次性载入内存，仅在读取对应批次时加载数据，可直接降低90%以上的初始内存占用。
• 更优方案是改用tf.data.Dataset或Keras Sequence自定义数据生成器，按需分批读取数据，同时支持预处理操作的并行执行。
• 提前拆分训练集、验证集存储，避免使用validation_split=0.3参数——该参数会直接复制30%的全量训练数据作为验证集，额外增加数GB内存开销。

2. 优化训练硬件使用配置 #

• 你的报错显示当前训练跑在CPU上，没有用到MX130显卡，先安装匹配TensorFlow版本的CUDA、cuDNN，执行print(tf.config.list_physical_devices('GPU'))确认GPU被识别，切换到GPU训练可大幅降低CPU内存压力。
• 开启混合精度训练：在代码开头加入tf.keras.mixed_precision.set_global_policy('mixed_float16')，将中间张量精度从float32降低为float16，可减少一半的内存/显存占用，几乎不影响模型精度。
• 调整batch_size：你当前设置的batch_size=1训练效率极低，可逐步测试2、4、8等值，找到内存可承载的最大batch_size，兼顾内存占用和训练速度。

3. 降低运行时内存开销 #

• 每个epoch结束后手动调用垃圾回收：在自定义回调的on_epoch_end方法中加入import gc; gc.collect()清理无用内存。
• fit方法中设置workers=1, use_multiprocessing=False，关闭多进程数据加载避免额外的内存副本开销。
• 如果模型内ConvLSTM层的通道数、层数过多，可适当减少通道数或加入池化层降低特征图尺寸，减少中间张量的体积。

4. 可选辅助优化 #

• 调整EarlyStopping和ModelCheckpoint的监控指标为验证集指标，例如将monitor="mean_squared_error"改为monitor="val_mean_squared_error"，避免保存过拟合的训练集最优模型。

内容的提问来源于stack exchange，提问作者Abhishek Srivastava