TensorFlow图像分类训练报错Failed precondition及数据集加载问题求解
图像分类训练报错排查与优化方案
核心报错根因
- 所有后续报错的源头是运行输出里的
Found 0 images belonging to 0 classes。Keras的flow_from_directory接口有强制结构要求:传入的根路径下,每个一级子文件夹对应一个分类,图片必须存在于这些类别子文件夹中,不能直接堆在根路径下。你当前的训练、测试集图片全堆在根目录,没有二级类别文件夹,生成器扫不到任何有效数据,训练时拿到全0维度的张量,才会抛出InvalidArgumentError: Reduction axis -1 is empty in shape [0,0]的错误。 - 类别数统计逻辑完全错误:你输出里的
NumberOfClass: 11376是无效结果。用glob(train_path + "/*")扫描路径时,把根目录下的所有单个图片文件都识别成了类别文件夹,5万张图扫出1万多个文件当类,统计结果和实际业务完全对不上。 - 输入维度不匹配:你硬编码模型输入为
(224,224,3),但给生成器传的target_size取的是手动加载的单张原图尺寸(即截图里的1440×1080),就算目录结构修正了,模型输入和生成器输出的尺寸不匹配,依然会报维度错误。 - 冗余缩图逻辑有隐患:写的遍历当前目录缩图的循环,会把项目文件夹下所有匹配后缀的图片全部批量压缩,不仅会混入代码、测试集文件,还会把图像质量压到40,工业检测的微小缺陷细节会被压缩丢失,完全没必要做前置批量压缩。
- 接口版本过时:
fit_generator是TensorFlow 2.x已经废弃的接口,长期使用会出现版本兼容问题。
图像属性调整说明
- 不需要手动把全部5万张图提前统一改尺寸、压缩质量存到本地。直接靠数据生成器在加载时实时完成缩放即可,能节省大量磁盘空间。
- 你的原图是工业相机采集的1440×1080 RGB图,分辨率属于常规检测尺寸,只需要在生成器里统一缩到模型输入的224×224即可,不需要强制调整原始分辨率。
- 如果采集的是单通道灰度图,不要强制转成3通道RGB,按实际通道数调整模型输入的第三维度即可,避免无意义的内存占用。
- 之前设置的40%压缩质量会损伤关键特征,就算真的要离线压缩,质量值至少设为90。
前置目录整理要求(必须完成才能跑通代码)
严格按照Keras生成器的要求整理目录结构:
- 训练集根目录
Düzgün2/下,为每一个分类建单独的子文件夹(比如Düzgün2/合格样本/、Düzgün2/表面划痕/),把对应类别的训练图片放到对应子文件夹内- 测试集根目录
Test/下,建和训练集完全同名的类别子文件夹,把对应类别的测试图片放到对应子文件夹内
所有图片不能直接堆在Düzgün2/或Test/的根目录下,否则生成器永远扫不到数据。
修正后的可运行代码
from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Conv2D, MaxPooling2D, Activation, Dropout, Flatten, Dense from tensorflow.keras.preprocessing.image import ImageDataGenerator import os # 固定配置参数 TRAIN_DIR = "Düzgün2/" TEST_DIR = "Test/" IMG_SIZE = (224, 224) # 统一输入尺寸,适配6G显存的GTX1660Ti BATCH_SIZE = 32 EPOCHS = 100 # 仅统计二级类别文件夹的数量,不把图片文件识别为类别 class_names = [ folder for folder in os.listdir(TRAIN_DIR) if os.path.isdir(os.path.join(TRAIN_DIR, folder)) ] CLASS_NUM = len(class_names) print(f"自动识别到的类别总数:{CLASS_NUM}") # 构建CNN模型 model = Sequential([ Conv2D(32, (3, 3), input_shape=(IMG_SIZE[0], IMG_SIZE[1], 3)), Activation("relu"), MaxPooling2D(pool_size=(2, 2)), Conv2D(32, (3, 3)), Activation("relu"), MaxPooling2D(pool_size=(2, 2)), Flatten(), Dense(1024), Activation("relu"), Dropout(0.5), Dense(CLASS_NUM), Activation("softmax") ]) model.compile( loss="categorical_crossentropy", optimizer="rmsprop", metrics=["accuracy"] ) # 数据增强配置 train_aug = ImageDataGenerator( rescale=1./255, shear_range=0.3, horizontal_flip=True, zoom_range=0.3 ) test_aug = ImageDataGenerator(rescale=1./255) # 加载数据生成器 train_gen = train_aug.flow_from_directory( TRAIN_DIR, target_size=IMG_SIZE, batch_size=BATCH_SIZE, color_mode="rgb", class_mode="categorical" ) test_gen = test_aug.flow_from_directory( TEST_DIR, target_size=IMG_SIZE, batch_size=BATCH_SIZE, color_mode="rgb", class_mode="categorical" ) # 自动计算训练步长,避免硬编码数值导致训练中断 steps_per_epoch = train_gen.samples // BATCH_SIZE validation_steps = test_gen.samples // BATCH_SIZE # 使用新版fit接口替代废弃的fit_generator model.fit( train_gen, steps_per_epoch=steps_per_epoch, epochs=EPOCHS, validation_data=test_gen, validation_steps=validation_steps )
运行注意事项
- 检查路径末尾的斜杠,Windows系统下不要写错路径分隔符。
- 如果运行时提示显存不足,把
IMG_SIZE从(224,224)降到(128,128),或者把BATCH_SIZE从32降到16,适配6G显存的负载。 - 如果训练初期准确率卡在随机猜测的水平,先检查目录结构是否正确,避免把图片堆在根目录导致类别识别错误。
- 不要把图片文件直接当类统计,永远只认文件夹做分类标签。
内容的提问来源于stack exchange,提问作者TTA
相关产品推荐
相关产品推荐

