TensorFlow Keras RandomFlip对所有图像应用相同翻转的问题

核心原因 #

在TensorFlow 2.10.0版本中，RandomFlip层在**逐个处理单样本（batch size=1）**时，随机状态的更新逻辑存在异常：同一次运行中多次调用同一层实例，会生成完全相同的翻转决策；且未设置seed时，每次重启代码的随机状态无法固定。而你用到的RandomBrightness等层设置seed后正常，是因为它们的随机生成逻辑对单样本场景的兼容性更好。

解决方案 #

方案1：将样本打包成批次后再做增强

把重复的单样本合并成一个批次，让RandomFlip一次性处理多个样本，它会为每个样本独立生成翻转决策：

# 设置全局种子保证结果可复现
tf.random.set_seed(42)

#Defining data augmentation Keras layer
data_augmentation = tf.keras.Sequential([
    tf.keras.layers.RandomFlip("horizontal_and_vertical", seed=5), # 给RandomFlip添加seed
    tf.keras.layers.RandomBrightness(0.25, seed=10),
    tf.keras.layers.RandomContrast(0.5, seed=20),
    tf.keras.layers.RandomRotation(0.028, fill_mode="constant", seed=35),
])

#Augmenting 1 image 9 times for testing
image = train_ds.take(1)
images = image.repeat(9).batch(9) # 将重复样本合并为9样本的批次
for batch, labels in images:
    augmented_batch = data_augmentation(batch, training=True)
    n=0
    for i in augmented_batch:
        i=tf.cast(i, tf.uint8)
        ax = plt.subplot(3, 3, n + 1)
        _ = plt.imshow(i, cmap="gray",vmin=0,vmax=255)
        plt.axis("off")
        n+=1

方案2：自定义翻转逻辑替代RandomFlip层

如果必须逐个处理单样本，可以手动用无状态随机函数实现翻转，保证每次调用的随机性：

def custom_random_flip(image, label):
    # 生成随机种子，保证每次调用的决策独立
    seed_h = tf.random.uniform(shape=[2], dtype=tf.int32, maxval=10000)
    # 随机水平翻转
    image = tf.cond(
        tf.random.stateless_uniform(shape=[], seed=seed_h, maxval=2, dtype=tf.int32) == 1,
        lambda: tf.image.flip_left_right(image),
        lambda: image
    )
    # 随机垂直翻转
    seed_v = tf.random.uniform(shape=[2], dtype=tf.int32, maxval=10000)
    image = tf.cond(
        tf.random.stateless_uniform(shape=[], seed=seed_v, maxval=2, dtype=tf.int32) == 1,
        lambda: tf.image.flip_up_down(image),
        lambda: image
    )
    return image, label

# 替换原map逻辑
image = train_ds.take(1)
images = image.repeat(9)
# 先做自定义翻转，再执行其他增强
images = images.map(custom_random_flip, num_parallel_calls=AUTOTUNE)
images = images.map(lambda x,y: (data_augmentation(x, training=True),y),num_parallel_calls=AUTOTUNE)

# 后续绘图代码不变
n=0
for i,l in images:
    i=tf.cast(i, tf.uint8)
    ax = plt.subplot(3, 3, n + 1)
    _ = plt.imshow(i, cmap="gray",vmin=0,vmax=255)
    plt.axis("off")
    n+=1

额外说明 #

• 不管用哪种方案，都要配合tf.random.set_seed()设置全局种子，同时给随机增强层（或自定义逻辑）设置seed，才能保证每次运行代码的增强结果可复现。
• 该问题是TensorFlow 2.10版本的特定兼容性问题，升级到2.11及以上版本后，RandomFlip对单样本场景的处理逻辑会修复，无需上述特殊处理。

内容的提问来源于stack exchange，提问作者henald