Keras数据增强疑问：执行时机与seed作用，每轮是否生成新图像？

问题1：Keras中的数据增强是在每轮训练时修改数据集，还是仅执行一次？ #

Keras的数据增强（包括内置增强层、ImageDataGenerator等实现）每轮训练都会重新生成新的增强图像，而非仅执行一次。增强操作是实时应用在每个batch的原始图像上的，每一轮遍历数据集时，都会对原始图像重新执行随机变换，相当于每轮都用“全新的”增强后数据喂给模型。

问题2：示例代码中5轮训练的增强图像是否一致？如何优化？ #

示例代码的现状分析 #

在你提供的代码中，5轮训练的增强图像会完全一致，原因有两点：

1. 增强层固定了seed参数：固定seed后，每次调用增强层时的随机变换序列会完全相同；
2. 数据集的shuffle和缓存逻辑：shuffle=True且固定seed，加上dataset.cache()缓存原始图像，每轮遍历的数据集顺序和原始图像内容完全固定。

两者结合后，每轮每个batch的图像都会被应用完全相同的增强变换，相当于每轮复用同一组增强数据。

另外注意代码中的一个错误：RandomRotation层直接以model_input为输入，覆盖了RandomFlip的结果，导致翻转增强完全失效，正确的链式调用应该是将前一层的输出作为后一层的输入。

如何让每轮生成不同的增强图像，真正提升数据多样性？ #

给出3种可行的修改方案：

1. 移除增强层的固定seed（最简单方案）

删除增强层的seed参数，让每轮训练时增强层自动生成不同的随机变换：

# model construction
model_input = tf.keras.Input(shape=(96, 96, 3))
add_layers = tf.keras.layers.RandomFlip(mode='horizontal')(model_input)  # 移除seed
add_layers = tf.keras.layers.RandomRotation(factor=0.1)(add_layers)      # 移除seed，且用前一层输出作为输入
add_layers = #some nn layers# # model core
output = tf.keras.layers.Dense(1)(add_layers)
model = tf.keras.Model(inputs=model_input, outputs=output)

2. 使用SeedGenerator实现可控的动态seed

如果需要保留seed的可控性，同时让每轮的随机变换不同，可以用tf.keras.SeedGenerator，它会在每轮训练时自动递增seed：

# model construction
model_input = tf.keras.Input(shape=(96, 96, 3))
seed_gen = tf.keras.SeedGenerator(seed=75398, increment_epoch=True)  # 每轮自动递增seed
add_layers = tf.keras.layers.RandomFlip(mode='horizontal', seed=seed_gen)(model_input)
add_layers = tf.keras.layers.RandomRotation(factor=0.1, seed=seed_gen)(add_layers)
add_layers = #some nn layers# # model core
output = tf.keras.layers.Dense(1)(add_layers)
model = tf.keras.Model(inputs=model_input, outputs=output)

3. 将增强逻辑移到tf.data流水线中

把增强操作放在数据集处理环节，而非模型层内，灵活性更高：

# 定义增强函数
def augment_image(image, label):
    image = tf.keras.layers.RandomFlip(mode='horizontal')(image)
    image = tf.keras.layers.RandomRotation(factor=0.1)(image)
    return image, label

# 仅在训练集上应用增强
train_set = train_set.map(augment_image, num_parallel_calls=tf.data.AUTOTUNE)

这种方式下，只要不固定增强操作的seed，每轮遍历训练集时都会生成新的增强图像。

内容的提问来源于stack exchange，提问作者Oneira