如何用ResNet50与ImageDataGenerator生成图像嵌入？重复图像向量不一致问题

核心原因 #

最常见的触发因素是ImageDataGenerator默认/显式开启了随机数据增强，比如旋转、平移、翻转、缩放等。即使是同一张图像，每次被生成器加载时都会被随机修改，输入模型的像素数据不一样，输出的嵌入向量自然不同。

其他次要可能：

• 未使用ResNet50要求的preprocess_input预处理函数，导致输入数据的分布不一致（但这种情况一般不会导致重复图像的向量差异，除非预处理逻辑有随机成分）
• 生成器的shuffle=True导致加载顺序混乱，但不会直接导致同一图像的向量不同，只是可能对应错误的行

解决方法 #

1. 禁用数据增强，使用纯加载模式 #

创建ImageDataGenerator时只保留必要的预处理，关闭所有随机变换参数：

import tensorflow as tf
from tensorflow.keras.applications.resnet import preprocess_input

# 仅保留ResNet50要求的预处理，无任何随机增强
datagen = tf.keras.preprocessing.image.ImageDataGenerator(
    preprocessing_function=preprocess_input
)

# 从DataFrame生成数据时关闭打乱，确保顺序一致
generator = datagen.flow_from_dataframe(
    dataframe=your_dataframe,
    directory="path/to/your/images",
    x_col="image_column_name",
    y_col=None,  # 不需要标签，仅提取特征
    target_size=(224, 224),  # 匹配ResNet50的默认输入尺寸
    batch_size=32,
    class_mode=None,
    shuffle=False  # 关键：关闭打乱，避免随机加载顺序
)

重新运行predict后，同一图像的嵌入向量应该完全一致。

2. 预计算唯一图像的嵌入（更高效） #

由于你只有1000张唯一图像，直接预计算这些图像的嵌入，再映射到5031行的DataFrame中，既避免生成器的问题，又大幅提升效率：

import pandas as pd
import numpy as np
from tensorflow.keras.applications.resnet50 import ResNet50, preprocess_input
from tensorflow.keras.preprocessing import image

# 构建特征提取模型
base_model = ResNet50(weights='imagenet', include_top=False, input_shape=(224,224,3))
base_model.trainable = False  # 冻结所有层
feature_extractor = tf.keras.Model(
    inputs=base_model.input,
    outputs=tf.keras.layers.GlobalAveragePooling2D()(base_model.output)
)

# 获取所有唯一图像名
unique_imgs = your_dataframe['image_column_name'].unique()

# 预计算嵌入字典
embedding_map = {}
img_dir = "path/to/your/images"
for img_name in unique_imgs:
    img_path = f"{img_dir}/{img_name}"
    img = image.load_img(img_path, target_size=(224,224))
    img_array = image.img_to_array(img)
    img_array = np.expand_dims(img_array, axis=0)
    img_array = preprocess_input(img_array)
    # 生成嵌入并扁平化（方便存储）
    embedding = feature_extractor.predict(img_array, verbose=0).flatten()
    embedding_map[img_name] = embedding

# 映射回原DataFrame
your_dataframe['embedding'] = your_dataframe['image_column_name'].map(embedding_map)

3. 验证生成器输入的一致性 #

如果不确定是否是数据增强的问题，可以手动验证生成器输出的图像是否一致：

# 重置生成器到初始状态
generator.reset()
# 获取第一批次的第一张图像
first_img = next(generator)[0]
# 再次重置并获取同一位置的图像
generator.reset()
second_img = next(generator)[0]
# 对比像素值是否完全一致
print(np.array_equal(first_img, second_img))

如果输出False，说明生成器确实在做随机变换，必须关闭增强参数。

内容的提问来源于stack exchange，提问作者Herzshprung