设置种子的预处理层未对图像与掩码生成一致数据增强

问题原因 #

你创建了两个独立的RandomFlip层，即便设置了相同种子，它们各自维护独立的随机状态。每次调用时，两个层会分别推进自己的随机状态，导致图像和掩码的翻转操作无法始终同步。

解决方案1：拼接张量后统一翻转 #

将图像和掩码在通道维度拼接，用同一个翻转层处理，确保两者翻转完全同步：

class Augment(tf.keras.layers.Layer):
    def __init__(self, seed=42):
        super().__init__()
        self.random_flip = tf.keras.layers.RandomFlip(mode="horizontal", seed=seed)

    def call(self, inputs, labels):
        # 拼接图像与掩码到同一张量的通道维度
        combined = tf.concat([inputs, labels], axis=-1)
        combined_flipped = self.random_flip(combined)
        # 拆分回原图像和掩码
        inputs_flipped = combined_flipped[..., :-1]
        labels_flipped = combined_flipped[..., -1:]
        return inputs_flipped, labels_flipped

解决方案2：用统一随机决策控制翻转 #

手动生成共享的翻转决策，对图像和掩码应用相同的翻转操作：

class Augment(tf.keras.layers.Layer):
    def __init__(self, seed=42):
        super().__init__()
        self.seed = seed

    def call(self, inputs, labels):
        # 生成固定种子的随机决策
        rand = tf.random.stateless_uniform(shape=[], seed=(self.seed, self.seed), minval=0, maxval=1)
        flip = rand < 0.5
        if flip:
            inputs = tf.image.flip_left_right(inputs)
            labels = tf.image.flip_left_right(labels)
        return inputs, labels

补充说明 #

TensorFlow中带随机操作的层会在每次调用时更新内部随机状态，多个同种子的独立层无法保证状态同步。必须让图像和掩码共享同一个随机操作上下文，才能确保增强操作完全一致。

内容的提问来源于stack exchange，提问作者Philippe Miron