如何在双输入多路径CNN中对两幅图像应用相同数据增强

核心逻辑 #

因为两组图像是一一配对的，必须保证同一次增强操作完全同步作用于配对的两张图——不能给两个分支单独加增强层，否则会出现原图翻转但分割图没翻转的错位情况，破坏数据对应关系。下面是具体实现步骤：

步骤1：实现配对同步数据增强 #

方法一：基于tf.data的配对增强（推荐） #

用TensorFlow的数据集API构建配对数据，确保每对(X[i], X_2[i])用完全相同的随机变换参数：

import tensorflow as tf

# 定义配对增强函数，接收一对图像，返回增强后的配对结果
def augment_pair(image, seg_image):
    # 生成固定随机种子，确保两张图用同一套增强参数
    seed = tf.random.uniform(shape=[2], maxval=1000, dtype=tf.int32)
    
    # 同步随机翻转
    image = tf.image.stateless_random_flip_left_right(image, seed=seed)
    seg_image = tf.image.stateless_random_flip_left_right(seg_image, seed=seed)
    image = tf.image.stateless_random_flip_up_down(image, seed=seed)
    seg_image = tf.image.stateless_random_flip_up_down(seg_image, seed=seed)
    
    # 同步随机旋转
    rotate_layer = tf.keras.layers.experimental.preprocessing.RandomRotation(0.2, fill_mode='nearest')
    image = rotate_layer(image, training=True)
    seg_image = rotate_layer(seg_image, training=True)
    
    # 同步随机缩放
    zoom_layer = tf.keras.layers.experimental.preprocessing.RandomZoom(
        height_factor=0.05, width_factor=0.05, fill_mode='nearest'
    )
    image = zoom_layer(image, training=True)
    seg_image = zoom_layer(seg_image, training=True)
    
    return image, seg_image

# 构建配对数据集（假设y和y_2标签一致，取其中一个即可）
dataset = tf.data.Dataset.from_tensor_slices(((X, X_2), y))
# 训练集：打乱+分批+同步增强
train_dataset = dataset.shuffle(len(X)).batch(32).map(
    lambda inputs, label: (augment_pair(*inputs), label),
    num_parallel_calls=tf.data.AUTOTUNE
)
# 验证/测试集：仅分批，不增强
val_dataset = tf.data.Dataset.from_tensor_slices(((X_val, X_2_val), y_val)).batch(32)

方法二：复用增强层并固定种子 #

如果想用你已定义的Sequential增强层，通过传入相同随机种子保证同步：

# 保留你原有的增强层定义
data_augmentation = tf.keras.Sequential()
data_augmentation.add(tf.keras.layers.RandomFlip("horizontal_and_vertical"))
data_augmentation.add(tf.keras.layers.RandomRotation(0.2))
data_augmentation.add(tf.keras.layers.RandomZoom(height_factor=(.05), width_factor=(.05)))

def augment_pair_shared(image, seg_image):
    seed = tf.random.uniform(shape=[2], maxval=1000, dtype=tf.int32)
    # 给增强层传入相同seed，确保变换一致
    aug_image = data_augmentation(image, training=True, seed=seed)
    aug_seg = data_augmentation(seg_image, training=True, seed=seed)
    return aug_image, aug_seg

步骤2：构建双分支CNN模型 #

分别处理增强后的图像和分割图，最后拼接特征输出：

# 定义单个分支的CNN结构（可根据需求调整层数、滤波器数量）
def build_cnn_branch(input_shape):
    inputs = tf.keras.Input(shape=input_shape)
    x = tf.keras.layers.Conv2D(32, (3,3), activation='relu', padding='same')(inputs)
    x = tf.keras.layers.MaxPooling2D((2,2))(x)
    x = tf.keras.layers.Conv2D(64, (3,3), activation='relu', padding='same')(x)
    x = tf.keras.layers.MaxPooling2D((2,2))(x)
    x = tf.keras.layers.Conv2D(128, (3,3), activation='relu', padding='same')(x)
    x = tf.keras.layers.GlobalAveragePooling2D()(x)
    return tf.keras.Model(inputs=inputs, outputs=x)

# 输入形状根据你的数据调整（比如(256,256,3)）
input_shape = X.shape[1:]

# 构建两个分支：可以选择共享权重（seg_branch = image_branch）或独立权重
image_branch = build_cnn_branch(input_shape)
seg_branch = build_cnn_branch(input_shape)

# 定义模型输入层
image_input = tf.keras.Input(shape=input_shape, name='original_image')
seg_input = tf.keras.Input(shape=input_shape, name='segmented_image')

# 应用增强（如果用方法一，增强已经在数据集处理，这里直接用输入即可）
# aug_image, aug_seg = augment_pair_shared(image_input, seg_input)
aug_image = image_input
aug_seg = seg_input

# 提取特征
image_features = image_branch(aug_image)
seg_features = seg_branch(aug_seg)

# 拼接特征并构建分类/回归头部
combined = tf.keras.layers.concatenate([image_features, seg_features])
x = tf.keras.layers.Dense(256, activation='relu')(combined)
outputs = tf.keras.layers.Dense(1, activation='sigmoid')(x)  # 根据任务调整输出层

# 完整模型
model = tf.keras.Model(inputs=[image_input, seg_input], outputs=outputs)

# 编译模型
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])

步骤3：训练模型 #

用配对好的数据集启动训练：

model.fit(train_dataset, epochs=20, validation_data=val_dataset)

关键注意点 #

• 必须保证增强同步：这是配对数据的核心要求，否则模型无法学习到两组图像的对应关系。
• 标签复用：因为两组图像是一一对应的，y和y_2标签应该一致，训练时用其中一个即可。
• 权重共享：如果两个分支的任务类似（都是提取图像特征），可以将seg_branch = image_branch，减少参数量并提升泛化能力。

内容的提问来源于stack exchange，提问作者Tess Chan