如何避免ImageGenerator向图像边界外区域填充像素点

ImageDataGenerator在执行旋转、平移等几何变换时，为了保持输出图像尺寸和原始输入尺寸一致，默认必须对变换后超出原始边界的区域做填充，因此没有直接禁用填充的参数，可通过以下几种方案解决：

• 方案1：调整图像尺寸流程，用「放大+变换+裁剪」逻辑规避填充区域
  逻辑说明：将原始图像先resize到比目标尺寸更大的分辨率，完成增强变换后，再从图像中心裁剪出目标尺寸的区域，变换产生的填充边缘会被完全裁剪掉，不会进入后续模型输入。
  可以通过ImageDataGenerator的preprocessing_function参数注入自定义逻辑，代码示例：

  import tensorflow as tf
  
  IMG_SIZE = 224
  # 提前放大的尺寸，比目标尺寸大10%~15%即可，可根据旋转角度调整
  ENLARGED_SIZE = int(IMG_SIZE * 1.2) 
  
  def crop_after_augment(img):
      # 变换后裁剪掉边缘填充部分，再resize回目标尺寸
      img = tf.image.central_crop(img, IMG_SIZE/ENLARGED_SIZE)
      return tf.image.resize(img, (IMG_SIZE, IMG_SIZE))
  
  # 注意你原代码参数笔误：vertical_flip是布尔参数，要实现旋转需要用rotation_range
  generator = tf.keras.preprocessing.image.ImageDataGenerator(
      rotation_range=45,
      preprocessing_function=crop_after_augment
  )
  data = generator.flow_from_directory(
      data_dir, 
      # 先加载为放大后的尺寸
      target_size=(ENLARGED_SIZE, ENLARGED_SIZE), 
      color_mode='rgb',
      class_mode='sparse', 
      batch_size=batch_size, 
      shuffle=True,
      save_to_dir=OUTPUT_DIR, 
      save_prefix='augmented', 
      save_format='png',
      interpolation='nearest'
  )
  

• 方案2：改用Keras预处理层实现增强，可控性更高
  TensorFlow 2.x更推荐使用tf.keras.layers内置的增强层实现数据增强，支持自定义裁剪逻辑，还可以直接嵌入模型推理流程，避免训练推理数据不一致问题，代码示例：

  import tensorflow as tf
  from tensorflow.keras import layers
  
  IMG_SIZE = 224
  
  # 构建数据增强流水线
  aug_pipeline = tf.keras.Sequential([
      layers.Resizing(IMG_SIZE * 1.2, IMG_SIZE * 1.2),
      layers.RandomRotation(factor=45/360), # 45度对应0.125的factor
      layers.CenterCrop(IMG_SIZE, IMG_SIZE)
  ])
  
  # 加载数据集可以用image_dataset_from_directory，性能比flow_from_directory更高
  dataset = tf.keras.utils.image_dataset_from_directory(
      data_dir,
      image_size=(IMG_SIZE, IMG_SIZE),
      batch_size=batch_size,
      label_mode='sparse',
      shuffle=True
  )
  # 应用增强流水线
  dataset = dataset.map(lambda x, y: (aug_pipeline(x, training=True), y))
  

• 方案3：若不需要保留完整图像内容，可修改填充模式为常量填充
  如果你暂时不想修改尺寸逻辑，可以将fill_mode参数设置为constant，同时指定cval参数为和你的图像背景（比如植物图像的黑色/白色背景）一致的像素值，降低填充区域对模型训练的影响，示例：

  generator = tf.keras.preprocessing.image.ImageDataGenerator(
      rotation_range=45,
      fill_mode='constant',
      # 比如背景为黑色就设为0，白色设为255，根据你的图像调整
      cval=0
  )
  

内容的提问来源于stack exchange，提问作者Borin --help