神经网络训练首个Epoch触发警告后重启训练，如何解决？

这个问题我之前在训练图像分类模型时也碰到过，本质是Keras的数据加载worker进程意外挂掉了，导致指定样本无法读取，进而触发训练从首个Epoch重新开始。下面是几个亲测有效的解决办法，按优先级排序：

1. 先尝试禁用/降低多进程数据加载 #

多进程加载是这类问题的高发原因——有时候因为内存不足、环境兼容性或者进程通信问题，worker会意外终止。最简单的验证方法就是禁用多进程：

• 在model.fit()中设置workers=0（单进程加载），同时确保use_multiprocessing=False
• 如果用的是ImageDataGenerator.flow_from_directory()这类数据生成器，同样调整其中的workers参数

示例代码：

model.fit(
    train_dataset,
    epochs=10,
    batch_size=16,
    workers=0,  # 禁用多进程，改用单进程加载数据
    use_multiprocessing=False
)

如果禁用后问题消失，说明多进程是罪魁祸首，你可以尝试逐步调高workers值（比如1、2），找到既能加速又不崩溃的平衡点。

2. 检查数据集完整性 #

警告里明确提到input 12494 could not be retrieved，大概率是这个样本本身损坏或者路径有误。你需要遍历数据集，检查每个文件是否能正常读取：

• 对于图片：用PIL/Pillow验证文件完整性
• 对于文本/其他格式：检查文件是否存在、是否能正常打开读取

示例图片检查脚本：

from PIL import Image
import os

def check_corrupted_files(dataset_dir):
    for root, _, files in os.walk(dataset_dir):
        for filename in files:
            file_path = os.path.join(root, filename)
            if filename.lower().endswith(('.png', '.jpg', '.jpeg')):
                try:
                    with Image.open(file_path) as img:
                        img.verify()  # 验证图片编码完整性
                except (IOError, SyntaxError) as e:
                    print(f"发现损坏文件: {file_path}")
                    # 可选：删除或移动损坏文件
                    # os.remove(file_path)

check_corrupted_files("/path/to/your/train_dataset")

找到损坏文件后，删除或替换掉，避免加载时触发错误。

3. 调整内存相关设置 #

内存不足是worker崩溃的常见原因，你可以从这两方面入手：

• 减小batch size：降低每个批次的内存占用，比如从32改成16
• 动态分配GPU显存：如果用GPU训练，避免一次性占满显存导致进程崩溃

示例动态分配显存的代码：

import tensorflow as tf

gpus = tf.config.list_physical_devices('GPU')
if gpus:
    try:
        for gpu in gpus:
            tf.config.experimental.set_memory_growth(gpu, True)
        print("已启用GPU显存动态分配")
    except RuntimeError as e:
        print(e)

4. 调整Keras/TensorFlow版本 #

你用的是Python3.6，而部分新的TensorFlow版本对Python3.6的兼容性不好，或者某些旧版本存在worker崩溃的bug。可以尝试升级到Python3.6支持的稳定版本（比如TensorFlow 2.5.x，对应Keras 2.5.x）：

pip install --upgrade tensorflow==2.5.0 keras==2.5.0

如果升级后问题依旧，也可以尝试降级到更早的稳定版本。

5. 检查系统资源限制 #

在Linux系统下，有时候系统的进程数、打开文件数限制会导致worker被强制杀掉：

• 用htop或top命令查看训练时的CPU、内存占用，确认是否资源耗尽
• 临时调高打开文件数限制（需要终端执行）：

ulimit -n 65535

如果需要永久生效，可以修改/etc/security/limits.conf文件（需要root权限）。

内容的提问来源于stack exchange，提问作者suifengingo