You need to enable JavaScript to run this app. TensorFlow Keras动态拆分训练集时如何避免验证集应用数据增强
优惠活动
大模型
产品
解决方案
定价
更多

TensorFlow Keras动态拆分训练集时如何避免验证集应用数据增强

动态拆分训练集时仅对训练子集应用数据增强的实现方法

你当前代码的核心问题有两点:

  1. 你初始化的valid_data_gen生成器完全没有生效,生成验证集数据流的时候错误调用了带全部增强参数的train_data_gen,等于让带增强逻辑的生成器同时负责训练、验证两个子集的数据生成,验证集自然也被应用了随机增强。
  2. Keras的validation_split参数是绑定在单个ImageDataGenerator实例上的,想要两个子集用完全独立的预处理逻辑,必须给训练子集、验证子集分别创建独立的生成器实例,同时保证两个实例的拆分规则完全对齐,避免样本交叉重叠。

调整后的核心实现逻辑

  • 为训练子集单独创建带完整数据增强配置的生成器,绑定固定的拆分比例
  • 为验证子集单独创建无任何增强配置、仅做像素值归一化的生成器,设置和训练生成器完全一致的拆分比例
  • 两个生成器都指向同一个训练集根目录,传入完全相同的随机种子,让Keras按照相同的拆分规则切分样本,保证训练和验证集没有重叠
  • 分别为两个子集调用flow_from_directory,指定对应的subset参数获取拆分后的数据集

调整后可直接运行的代码

apply_data_augmentation = True
training_dir = "你的训练集根目录路径"  # 即存储NO_MASK、ALL_MASK、SOME_MASK三个类文件夹的上级目录
image_h, image_w = 224, 224  # 替换为你实际使用的图像尺寸
bs = 32  # 替换为你实际使用的批量大小
SEED = 42  # 固定随机种子,保证每次拆分的样本完全一致
val_split_ratio = 0.2  # 拆分20%训练集作为验证集

# 训练集生成器:带全部数据增强逻辑
if apply_data_augmentation:
    train_aug_gen = ImageDataGenerator(
        rotation_range=10,
        width_shift_range=10,
        height_shift_range=10,
        zoom_range=0.3,
        horizontal_flip=True,
        vertical_flip=True,
        fill_mode='constant',
        cval=0,
        shear_range=0.2,
        rescale=1./255,
        validation_split=val_split_ratio
    )
else:
    train_aug_gen = ImageDataGenerator(
        rescale=1./255,
        validation_split=val_split_ratio
    )

# 验证集生成器:仅做归一化,无任何增强逻辑
val_no_aug_gen = ImageDataGenerator(
    rescale=1./255,
    validation_split=val_split_ratio
)

# 生成训练子集的数据流
train_gen = train_aug_gen.flow_from_directory(
    training_dir,
    target_size=(image_h, image_w),
    batch_size=bs,
    subset='training',  # 取拆分后80%的训练部分
    class_mode='categorical',
    shuffle=True,
    classes=['NO_MASK','ALL_MASK','SOME_MASK'],
    seed=SEED,
    color_mode="rgb"
)

# 生成验证子集的数据流
valid_gen = val_no_aug_gen.flow_from_directory(
    training_dir,  # 和训练子集取同一个根目录,不要指向独立的validation目录
    target_size=(image_h, image_w),
    batch_size=bs,
    subset='validation',  # 取拆分后20%的验证部分
    class_mode='categorical',
    shuffle=False,  # 验证集不需要打乱顺序,避免标签对应混乱
    classes=['NO_MASK','ALL_MASK','SOME_MASK'],
    seed=SEED,  # 和训练生成器的种子完全匹配,保证拆分边界一致
    color_mode="rgb"
)

关键注意事项

  • 两个生成器的validation_split取值必须完全相等,调用flow_from_directory时传入的seed也必须完全一致,这样Keras会生成完全相同的样本索引拆分边界,不会出现训练集和验证集样本重叠的问题。
  • 验证集固定设置shuffle=False即可,随机打乱会导致批量评估时的样本和标签对应关系错乱,影响评估结果的准确性。
  • 整套拆分逻辑是运行时在内存中完成的,不会修改本地磁盘上的原始训练集文件,每次启动训练时只要种子固定,拆分出的训练、验证子集就会完全一致,不存在数据泄露的风险。
  • 如果后续需要使用独立的test集目录做最终评估,只需要再创建一个仅带rescale参数的生成器,单独加载test目录的数据流即可,和当前动态拆分的逻辑互不影响。

内容的提问来源于stack exchange,提问作者arst3k

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.18 01:54:03