You need to enable JavaScript to run this app. flow_from_directory与双ImageDataGenerator场景下如何使用K-fold
优惠活动
大模型
产品
解决方案
定价
更多

flow_from_directory与双ImageDataGenerator场景下如何使用K-fold

在现有目录结构下实现K-fold交叉验证的落地方法

你完全不需要把图像数据转成带X/y标签的CSV格式,只要先收集全量图像的路径和对应分类标签,再完成折拆分,就可以无缝适配你现有的ImageDataGenerator双数据生成器逻辑,不需要大改已经写好的代码。

核心实现步骤

  • 第一步:收集全量图像路径与对应标签
    跳过之前手动拆分的training/testing文件夹结构,直接遍历存放Open/Closed图像的两个根分类文件夹,拿到所有图像的绝对路径和对应的标签值:

    import os
    import numpy as np
    from sklearn.model_selection import StratifiedKFold
    from tensorflow.keras.preprocessing.image import ImageDataGenerator
    
    # 替换为你全量图像存放的根目录路径
    DATA_ROOT = "C:/Users/User/Desktop/NN_Eye_Gaze/Open-v-Closed"
    class_mapping = {
        "Closed_Eyes_Pics": 0,
        "Open_Eyes_Pics": 1
    }
    
    all_image_paths = []
    all_labels = []
    for folder_name, label_val in class_mapping.items():
        current_folder = os.path.join(DATA_ROOT, folder_name)
        for img_name in os.listdir(current_folder):
            # 过滤非图像类文件
            if img_name.lower().endswith(('.png', '.jpg', '.jpeg')):
                all_image_paths.append(os.path.join(current_folder, img_name))
                all_labels.append(label_val)
    
    all_image_paths = np.array(all_image_paths)
    all_labels = np.array(all_labels)
    

    这里推荐用分层K折而非普通随机K折,是因为可以保证每个折的睁/闭眼睛样本占比和全量数据保持一致,避免单折样本分布偏移带来的准确率波动

  • 第二步:初始化K折划分配置
    固定随机种子、开启样本打乱,保证每次跑实验的折划分结果可复现:

    # 配置5折交叉验证,n_splits可以根据你的数据量调整
    k_fold = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
    
  • 第三步:逐折适配你现有的双数据生成器逻辑
    完全沿用你已经写好的两个数据生成器(训练集做随机增强、验证集只做归一化),每轮训练时从全量路径列表中切出当前折的训练、验证子集,用生成器的flow方法直接加载数据流,不需要再依赖flow_from_directory的目录结构:

    # 沿用你之前定义的两个生成器参数,注意修掉原代码末尾多出来的右括号
    train_datagen = ImageDataGenerator(
        rescale=1.0/255.,
        horizontal_flip=True,
        rotation_range=60,
        brightness_range=[0.5,1.5],
        width_shift_range=0.2,
        height_shift_range=0.2,
        shear_range=0.2,
        zoom_range=[0.5,1.5]
    )
    validation_datagen = ImageDataGenerator(rescale=1.0/255.)
    
    # 逐折循环训练
    fold_val_accuracies = []
    for fold_idx, (train_idx, val_idx) in enumerate(k_fold.split(all_image_paths, all_labels)):
        print(f"---- 开始训练第 {fold_idx + 1} 折 ----")
        # 切分当前折的训练/验证子集
        train_paths, train_y = all_image_paths[train_idx], all_labels[train_idx]
        val_paths, val_y = all_image_paths[val_idx], all_labels[val_idx]
    
        # 生成当前折的训练数据流,参数和你之前用flow_from_directory保持一致
        train_gen = train_datagen.flow(
            x=train_paths,
            y=train_y,
            batch_size=32,
            class_mode='binary',
            color_mode='grayscale',
            shuffle=True,
            target_size=(140, 140)
        )
    
        # 生成当前折的验证数据流,不做随机增强
        val_gen = validation_datagen.flow(
            x=val_paths,
            y=val_y,
            batch_size=32,
            class_mode='binary',
            color_mode='grayscale',
            shuffle=False,
            target_size=(140, 140)
        )
    
        # 每折重新初始化你的CNN模型,避免之前折的权重残留影响交叉验证结果
        # 这里替换成你之前写的Sequential模型构建代码即可
        model = build_cnn_model()
        model.compile(optimizer=RMSprop(lr=0.001), loss='binary_crossentropy', metrics=['acc'])
    
        # 修正原fit方法的参数错误,不需要用已经废弃的fit_generator
        history = model.fit(
            train_gen,
            steps_per_epoch=len(train_paths) // 32,
            verbose=1,
            validation_data=val_gen,
            validation_steps=len(val_paths) // 32,
            epochs=5,
            callbacks=[callbacks]
        )
    
        # 记录当前折的验证准确率
        current_val_acc = history.history['val_acc'][-1]
        fold_val_accuracies.append(current_val_acc)
        print(f"第 {fold_idx+1} 折验证准确率: {current_val_acc:.4f}")
    
    # 输出所有折的平均验证准确率
    print(f"5折交叉验证平均验证准确率: {np.mean(fold_val_accuracies):.4f}")
    

现有代码中会导致准确率波动的常见问题修正

  • 原CNN模型中两个连续的Conv2D层都重复指定了input_shape参数,只有第一层卷积需要定义输入形状,重复指定会触发形状对齐警告
  • 原train_datagen定义末尾多了一个闭合的右括号,运行会直接报语法错误
  • 原训练代码中train_dataset[train]、validation_dataset[test]的索引写法完全错误,数据生成器不是可索引的列表/字典对象,不能用这种方式切片
  • 原训练集batch_size=1会导致梯度更新噪声极大,是验证集准确率波动的核心诱因之一,统一调整为32的批大小会大幅提升训练稳定性
  • 交叉验证过程中,每折必须重新初始化模型权重,不能直接复用上一折的训练结果,否则交叉验证的统计结果没有参考价值

内容的提问来源于stack exchange,提问作者Joseph Nasr

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.30 07:54:04