如何在Python深度学习模型中固定重定位图像目标及解决ImageDataGenerator随机性问题

问题原因 #

你遇到的情况是因为ImageDataGenerator的width_shift_range和height_shift_range参数是随机在设定范围内选取偏移量的，每次运行时会生成不同的随机值，因此即使参数相同，输出的增强图像也会有差异。

解决方案 #

1. 固定随机种子，让每次生成的变换一致 #

如果你的需求是保持随机变换的范围，但每次运行得到相同的增强结果，可以通过设置全局随机种子和ImageDataGenerator的seed参数来实现，同时在生成器（如flow/flow_from_directory）中也要指定相同的seed：

import numpy as np
from keras.preprocessing.image import ImageDataGenerator

# 设置全局随机种子，确保numpy和tensorflow的随机数生成一致
np.random.seed(42)

# 初始化ImageDataGenerator时指定seed
datagen = ImageDataGenerator(
    rotation_range=40,
    width_shift_range=0.2,
    height_shift_range=0.2,
    seed=42  # 绑定随机种子
)

# 生成图像时，在flow方法中也传入相同的seed
# 假设x是你的输入图像数组
generator = datagen.flow(x, batch_size=1, seed=42)

# 每次调用generator.next()都会得到相同的增强结果
augmented_image = generator.next()[0]

2. 自定义固定平移，精确将目标移到指定位置 #

如果你的需求是精确将目标移动到图像右侧（固定位置），而不是随机在范围内平移，ImageDataGenerator的随机平移参数并不适用。此时需要自定义固定偏移的平移函数，手动控制偏移量：

方法一：用OpenCV实现固定平移

import cv2
import numpy as np

def fixed_right_shift(image, shift_ratio=0.3):
    """将图像向右平移指定比例的宽度"""
    height, width = image.shape[:2]
    # 计算向右平移的像素值
    shift_x = int(width * shift_ratio)
    # 定义平移矩阵：[1,0,shift_x], [0,1,shift_y]
    M = np.float32([[1, 0, shift_x], [0, 1, 0]])
    # 执行平移，保持图像尺寸不变
    shifted_image = cv2.warpAffine(image, M, (width, height))
    return shifted_image

# 加载图像并执行平移
original_image = cv2.imread("your_image_path.jpg")
target_image = fixed_right_shift(original_image)

方法二：用TensorFlow/Keras Lambda层整合到模型中

如果需要将固定平移整合到数据生成或模型流程中，可以用Lambda层实现：

import tensorflow as tf
from keras.layers import Input, Lambda
from keras.models import Model

def fixed_translate(x):
    # 向右平移图像宽度的30%，根据需求调整比例
    shift_x = tf.cast(tf.shape(x)[1] * 0.3, tf.int32)
    # 沿宽度维度（axis=2，假设输入格式为(高度, 宽度, 通道)）滚动平移
    return tf.roll(x, shift=shift_x, axis=2)

# 构建包含固定平移的模型
input_img = Input(shape=(256, 256, 3))
shifted_img = Lambda(fixed_translate)(input_img)
model = Model(inputs=input_img, outputs=shifted_img)

# 测试输入图像
test_image = tf.random.normal((1, 256, 256, 3))
result = model.predict(test_image)

内容的提问来源于stack exchange，提问作者Coder