Keras中如何同步增强图像与掩码并将数据集保存为ndarray？

Hey there, 针对你提到的Keras中同步图像与掩码增强、并把生成的数据集保存为ndarray的需求，我整理了一套完整的实现方案——这在语义分割、实例分割这类任务里是刚需，毕竟图像和对应的掩码必须经历完全一致的变换，不然标签就和图像对不上了。

核心思路 #

实现同步增强的关键在于让图像生成器和掩码生成器使用完全相同的随机种子，并且所有增强参数完全一致。从数据拟合到生成数据流的全流程，种子都要保持统一，这样每一次随机变换都会同步作用于图像和它的掩码。

完整代码示例 #

下面是可直接运行的代码，涵盖了数据准备、同步增强、结果保存的全流程：

import numpy as np
from keras.preprocessing.image import ImageDataGenerator

# 先模拟一批测试数据（实际使用时替换成你的真实数据）
# images: 形状为 (样本数, 高度, 宽度, 通道数) 的ndarray
# masks: 形状为 (样本数, 高度, 宽度, 1) 或 (样本数, 高度, 宽度) 的ndarray（根据你的任务调整）
images = np.random.rand(10, 256, 256, 3)  # 10张RGB测试图
masks = np.random.randint(0, 2, size=(10, 256, 256, 1))  # 对应10张二值掩码

# 1. 定义统一的增强参数
data_gen_args = dict(
    featurewise_center=True,
    featurewise_std_normalization=True,
    rotation_range=90.,
    width_shift_range=0.1,
    height_shift_range=0.1,
    zoom_range=0.2
)

# 2. 创建两个参数完全一致的生成器实例
image_datagen = ImageDataGenerator(**data_gen_args)
mask_datagen = ImageDataGenerator(**data_gen_args)

# 3. 用同一个种子拟合生成器（针对需要统计特征的增强项，比如featurewise_center）
seed = 42  # 固定种子是同步的核心
image_datagen.fit(images, augment=True, seed=seed)
mask_datagen.fit(masks, augment=True, seed=seed)

# 4. 创建同步的数据流，确保batch_size和seed一致
image_generator = image_datagen.flow(
    images,
    batch_size=4,
    seed=seed,
    shuffle=False  # 如果需要打乱数据，两个生成器的shuffle都要设为True，且seed相同
)
mask_generator = mask_datagen.flow(
    masks,
    batch_size=4,
    seed=seed,
    shuffle=False
)

# 5. 合并两个生成器，得到一一对应的增强图像-掩码对
synchronized_gen = zip(image_generator, mask_generator)

# 6. 生成所有增强数据并拼接成ndarray
augmented_imgs = []
augmented_masks = []

# 计算需要迭代的批次数量
total_batches = int(np.ceil(len(images) / image_generator.batch_size))

for _ in range(total_batches):
    imgs_batch, masks_batch = next(synchronized_gen)
    augmented_imgs.append(imgs_batch)
    augmented_masks.append(masks_batch)

# 拼接成完整的ndarray
augmented_imgs = np.concatenate(augmented_imgs, axis=0)
augmented_masks = np.concatenate(augmented_masks, axis=0)

# 验证结果形状
print(f"增强后图像形状: {augmented_imgs.shape}")
print(f"增强后掩码形状: {augmented_masks.shape}")

几个关键注意点 #

• 种子绝对一致：从fit到flow的所有环节，必须使用同一个随机种子，这是保证同步的核心。
• 掩码数据类型：如果你的掩码是整数类型（比如分类标签），要注意在flow里设置dtype=np.int32，避免增强后被自动转成浮点数。
• shuffle的一致性：如果需要打乱数据，两个生成器的shuffle必须同时设为True，且用同一个seed，否则会出现图像和掩码不匹配的情况。
• 特征归一化的拟合：如果用了featurewise_center或featurewise_std_normalization，一定要用原始数据拟合生成器，而且两个生成器都要拟合（如果掩码不需要归一化，也可以单独调整掩码生成器的参数）。

内容的提问来源于stack exchange，提问作者Tom