flow_from_directory与双ImageDataGenerator场景下如何使用K-fold
在现有目录结构下实现K-fold交叉验证的落地方法
你完全不需要把图像数据转成带X/y标签的CSV格式,只要先收集全量图像的路径和对应分类标签,再完成折拆分,就可以无缝适配你现有的ImageDataGenerator双数据生成器逻辑,不需要大改已经写好的代码。
核心实现步骤
第一步:收集全量图像路径与对应标签
跳过之前手动拆分的training/testing文件夹结构,直接遍历存放Open/Closed图像的两个根分类文件夹,拿到所有图像的绝对路径和对应的标签值:import os import numpy as np from sklearn.model_selection import StratifiedKFold from tensorflow.keras.preprocessing.image import ImageDataGenerator # 替换为你全量图像存放的根目录路径 DATA_ROOT = "C:/Users/User/Desktop/NN_Eye_Gaze/Open-v-Closed" class_mapping = { "Closed_Eyes_Pics": 0, "Open_Eyes_Pics": 1 } all_image_paths = [] all_labels = [] for folder_name, label_val in class_mapping.items(): current_folder = os.path.join(DATA_ROOT, folder_name) for img_name in os.listdir(current_folder): # 过滤非图像类文件 if img_name.lower().endswith(('.png', '.jpg', '.jpeg')): all_image_paths.append(os.path.join(current_folder, img_name)) all_labels.append(label_val) all_image_paths = np.array(all_image_paths) all_labels = np.array(all_labels)这里推荐用分层K折而非普通随机K折,是因为可以保证每个折的睁/闭眼睛样本占比和全量数据保持一致,避免单折样本分布偏移带来的准确率波动
第二步:初始化K折划分配置
固定随机种子、开启样本打乱,保证每次跑实验的折划分结果可复现:# 配置5折交叉验证,n_splits可以根据你的数据量调整 k_fold = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)第三步:逐折适配你现有的双数据生成器逻辑
完全沿用你已经写好的两个数据生成器(训练集做随机增强、验证集只做归一化),每轮训练时从全量路径列表中切出当前折的训练、验证子集,用生成器的flow方法直接加载数据流,不需要再依赖flow_from_directory的目录结构:# 沿用你之前定义的两个生成器参数,注意修掉原代码末尾多出来的右括号 train_datagen = ImageDataGenerator( rescale=1.0/255., horizontal_flip=True, rotation_range=60, brightness_range=[0.5,1.5], width_shift_range=0.2, height_shift_range=0.2, shear_range=0.2, zoom_range=[0.5,1.5] ) validation_datagen = ImageDataGenerator(rescale=1.0/255.) # 逐折循环训练 fold_val_accuracies = [] for fold_idx, (train_idx, val_idx) in enumerate(k_fold.split(all_image_paths, all_labels)): print(f"---- 开始训练第 {fold_idx + 1} 折 ----") # 切分当前折的训练/验证子集 train_paths, train_y = all_image_paths[train_idx], all_labels[train_idx] val_paths, val_y = all_image_paths[val_idx], all_labels[val_idx] # 生成当前折的训练数据流,参数和你之前用flow_from_directory保持一致 train_gen = train_datagen.flow( x=train_paths, y=train_y, batch_size=32, class_mode='binary', color_mode='grayscale', shuffle=True, target_size=(140, 140) ) # 生成当前折的验证数据流,不做随机增强 val_gen = validation_datagen.flow( x=val_paths, y=val_y, batch_size=32, class_mode='binary', color_mode='grayscale', shuffle=False, target_size=(140, 140) ) # 每折重新初始化你的CNN模型,避免之前折的权重残留影响交叉验证结果 # 这里替换成你之前写的Sequential模型构建代码即可 model = build_cnn_model() model.compile(optimizer=RMSprop(lr=0.001), loss='binary_crossentropy', metrics=['acc']) # 修正原fit方法的参数错误,不需要用已经废弃的fit_generator history = model.fit( train_gen, steps_per_epoch=len(train_paths) // 32, verbose=1, validation_data=val_gen, validation_steps=len(val_paths) // 32, epochs=5, callbacks=[callbacks] ) # 记录当前折的验证准确率 current_val_acc = history.history['val_acc'][-1] fold_val_accuracies.append(current_val_acc) print(f"第 {fold_idx+1} 折验证准确率: {current_val_acc:.4f}") # 输出所有折的平均验证准确率 print(f"5折交叉验证平均验证准确率: {np.mean(fold_val_accuracies):.4f}")
现有代码中会导致准确率波动的常见问题修正
- 原CNN模型中两个连续的Conv2D层都重复指定了
input_shape参数,只有第一层卷积需要定义输入形状,重复指定会触发形状对齐警告 - 原
train_datagen定义末尾多了一个闭合的右括号,运行会直接报语法错误 - 原训练代码中
train_dataset[train]、validation_dataset[test]的索引写法完全错误,数据生成器不是可索引的列表/字典对象,不能用这种方式切片 - 原训练集
batch_size=1会导致梯度更新噪声极大,是验证集准确率波动的核心诱因之一,统一调整为32的批大小会大幅提升训练稳定性 - 交叉验证过程中,每折必须重新初始化模型权重,不能直接复用上一折的训练结果,否则交叉验证的统计结果没有参考价值
内容的提问来源于stack exchange,提问作者Joseph Nasr
相关产品推荐
相关产品推荐

