训练二分类CNN模型时出现UnidentifiedImageError报错如何解决

报错本质 #

该错误由Pillow图像库加载文件失败触发，和CNN模型结构、编译逻辑无关，核心原因是ImageDataGenerator遍历数据集目录时，遇到了无法正常解析的文件。
常见触发场景：

• 数据集目录下混入非图像文件：包括系统隐藏文件（如macOS生成的.DS_Store、jupyter缓存.ipynb_checkpoints）、后缀名被篡改的文本/压缩包、其他格式的非图像文档
• 图像文件本身损坏：如下载不完整、文件头缺失、编码格式不被Pillow支持、存储介质坏道导致文件损坏
• 旧版本keras-preprocessing无异常容错机制，单个坏文件就会中断整个训练流程

排查解决步骤 #

1. 批量清洗数据集 #

先运行脚本遍历所有数据集文件，提前删除无效文件、统一图像格式，从根源避免加载错误：

import os
from PIL import Image

# 替换为本地训练集根目录路径
dataset_path = "./train"
invalid_files = []

for dirpath, _, filenames in os.walk(dataset_path):
    for filename in filenames:
        full_path = os.path.join(dirpath, filename)
        # 直接删除隐藏文件
        if filename.startswith("."):
            os.remove(full_path)
            continue
        try:
            # 打开并强制加载像素，验证文件完整性
            img = Image.open(full_path)
            img.load()
            # 统一转为RGB三通道格式，避免通道数不匹配报错
            if img.mode != "RGB":
                img.convert("RGB").save(full_path)
        except Exception as e:
            print(f"无效文件路径：{full_path}，错误：{str(e)}")
            invalid_files.append(full_path)

# 批量删除无效文件
for f in invalid_files:
    os.remove(f)
print(f"清理完成，共移除{len(invalid_files)}个无效文件")

脚本执行完成后再启动训练，绝大多数场景下可直接解决报错。

2. 升级数据加载逻辑增加容错 #

如果不想手动清理文件，可以替换已停止维护的旧版ImageDataGenerator，使用tf.keras内置的新版数据加载API，配置自动跳过异常文件：

import tensorflow as tf

batch_size = 64
img_width = 200
img_height = int(img_width/640*480)

# 加载训练集
train_ds = tf.keras.utils.image_dataset_from_directory(
    "./train",
    validation_split=0.2,
    subset="training",
    seed=42,
    image_size=(img_height, img_width),
    batch_size=batch_size,
    label_mode="binary"
)
# 加载验证集
val_ds = tf.keras.utils.image_dataset_from_directory(
    "./train",
    validation_split=0.2,
    subset="validation",
    seed=42,
    image_size=(img_height, img_width),
    batch_size=batch_size,
    label_mode="binary"
)

# 配置自动跳过损坏文件
train_ds = train_ds.apply(tf.data.experimental.ignore_errors())
val_ds = val_ds.apply(tf.data.experimental.ignore_errors())

# 像素值归一化
rescale = tf.keras.layers.Rescaling(1./255)
train_ds = train_ds.map(lambda x, y: (rescale(x), y))
val_ds = val_ds.map(lambda x, y: (rescale(x), y))

注意：新版API不需要调用已废弃的fit_generator方法，直接执行model.fit(train_ds, validation_data=val_ds, epochs=nb_epochs)即可训练，无需手动计算steps_per_epoch参数。

3. 兼容性检查 #

• 确认数据集目录结构符合要求：根目录下每个类别单独建子文件夹，对应类别的图像全部放在子文件夹内，不要直接把图像放在数据集根目录
• 执行pip install --upgrade pillow升级Pillow到最新稳定版，提升对特殊图像编码的兼容性
• 爬取得到的数据集普遍存在文件损坏、格式错误问题，必须先执行第一步的清洗流程再启动训练

内容的提问来源于stack exchange，提问作者thenoirlatte