Keras RandomRotation设置相同种子仍无法同步图像与掩码增强的问题求助

嘿，我来帮你分析下这个问题，顺便给你几个可行的解决方案~

为什么你的当前方法不生效？ #

你现在用两个独立的Sequential层（rotation_1和rotation_2），哪怕设置了相同的种子，它们本质上是两个完全独立的层实例，各自维护自己的随机状态。在tf.data.Dataset.map的并行处理流程中，这两个层的随机参数生成逻辑很可能因为执行时机、Graph构建的细微差异，导致最终生成的旋转角度不一样，自然图像和掩码的变换就不同步了。

更靠谱的同步增强方案 #

这里有两种简单且有效的方法，能保证图像和掩码应用完全相同的随机变换：

方案1：自定义增强函数，共享随机参数

写一个单独的tf.function，在函数内部先生成统一的旋转参数，然后把这个参数同时应用到图像和掩码上。这样就从根源上保证了变换的一致性：

def rotate_image_mask(image, mask):
    # 生成统一的旋转角度（和RandomRotation的参数范围一致）
    angle = tf.random.uniform(shape=[], minval=-0.2, maxval=0.2)
    # 对图像和掩码应用相同的旋转，掩码用nearest插值避免模糊
    rotated_image = tf.keras.layers.RandomRotation(
        factor=(-0.2, 0.2), interpolation="nearest"
    )._transform(image, angle)
    rotated_mask = tf.keras.layers.RandomRotation(
        factor=(-0.2, 0.2), interpolation="nearest"
    )._transform(mask, angle)
    return rotated_image, rotated_mask

# 替换原来的map逻辑
train_dataset = train_dataset.map(rotate_image_mask, num_parallel_calls=tf.data.AUTOTUNE)

方案2：拼接图像和掩码，用同一个层处理

把图像和掩码在通道维度拼接成一个张量，用同一个RandomRotation层处理，之后再拆分开。这种方法更简洁，也能保证同步：

def augment_batch(image, mask):
    # 拼接图像和掩码（假设图像是单通道，掩码也是单通道，拼接后通道数为2）
    combined = tf.concat([image, mask], axis=-1)
    # 用同一个旋转层处理
    combined_rotated = tf.keras.layers.RandomRotation(
        (-0.2, 0.2), seed=42, interpolation="nearest"
    )(combined)
    # 拆分回图像和掩码
    rotated_image = combined_rotated[..., :image.shape[-1]]
    rotated_mask = combined_rotated[..., image.shape[-1]:]
    return rotated_image, rotated_mask

train_dataset = train_dataset.map(augment_batch, num_parallel_calls=tf.data.AUTOTUNE)

关于你的绘图函数的小疑问 #

看你的generate_plots函数里有个gen(image, training=True)，这个gen是你的模型吗？另外tf.cast(generated_img > 0, 1, 0)这句语法有问题，应该改成tf.cast(generated_img > 0, tf.int32)，不然会报错哦。不过这部分应该和旋转不同步的问题无关，只是小细节提醒~

备注：内容来源于stack exchange，提问作者Jan Mareš