TensorFlow数据增强失效，训练时触发数据不足警告

1. 数据集未设置无限重复 #

不管是用TensorFlow的tf.data.Dataset配合增强层，还是旧版的ImageDataGenerator，要让增强后的数据集持续生成新样本，必须确保数据集能循环迭代：

• 若用tf.data管道：映射增强层后，必须调用dataset.repeat()，否则数据集只会遍历原始样本一次，遍历结束就会耗尽。正确流程示例：

  train_ds = train_ds.map(
      lambda x, y: (data_augmentation(x, training=True), y),
      num_parallel_calls=tf.data.AUTOTUNE
  )
  train_ds = train_ds.shuffle(1000).batch(batch_size).repeat()  # repeat()是核心
  

• 若用ImageDataGenerator：虽然它本身默认无限生成，但如果你的数据集管道没有正确关联循环逻辑（比如手动限制了迭代次数），也会提前耗尽。

2. model.fit的steps_per_epoch参数设置错误 #

这是最常见的触发原因：

• steps_per_epoch的正确值应为训练样本总数 ÷ 批次大小的向上取整值。如果设置的数值远大于这个值，比如你只有100个训练样本、批次大小32，却把steps_per_epoch设为100，那么遍历3次（共96个样本）后，剩余4个样本无法凑成一批，就会触发数据耗尽警告。
• 计算示例：

  import math
  steps_per_epoch = math.ceil(len(train_samples) / batch_size)
  

  把这个值传入model.fit即可。

3. 增强层未在训练模式下运行 #

如果你用Sequential定义的增强层，映射到数据集时没有传入training=True参数，增强层会进入推理模式——不会应用随机翻转、裁剪等增强操作，数据集只会输出原始样本，遍历完自然就耗尽了。

• 错误写法：

  train_ds = train_ds.map(lambda x, y: (data_augmentation(x), y))
  

• 正确写法：

  train_ds = train_ds.map(lambda x, y: (data_augmentation(x, training=True), y))
  

4. ImageDataGenerator的配置疏漏 #

针对你提到的原书示例代码，需检查两点：

• 确认flow_from_directory的batch_size、target_size与模型输入匹配，避免因尺寸不兼容导致样本过滤。
• 确保steps_per_epoch设置为train_samples // batch_size，不要随意设置过大的数值。

快速排查步骤 #

1. 检查tf.data管道末尾是否有repeat()调用；
2. 重新计算steps_per_epoch，确保其与样本数、批次大小匹配；
3. 验证增强层是否传入了training=True；
4. 对ImageDataGenerator，确认生成器的参数配置与数据集结构一致。

内容的提问来源于stack exchange，提问作者Gevezo