TensorFlow ImageDataGenerator如何不修改文件夹结构合并两类为单类
不改动目录结构的类合并方案
完全不需要调整磁盘上的文件夹、不复制/移动任何图像文件,仅需在原有数据生成流程的输出层增加标签映射逻辑,即可完成类1、类2的合并,完整保留原有validation_split自动拆分训练/验证集的能力。
实现原理
原生flow_from_directory会按照目录字典顺序为3个类分配固定索引:{'0':0, '1':1, '2':2}。合并规则为:
- 原始类0的图像映射为新类0
- 原始类1、类2的图像统一映射为新类1
在生成器输出每批次数据时,对原始标签做定向转换即可完成合并,全程不触碰磁盘文件。
代码改造步骤
- 自定义继承
ImageDataGenerator,重写输出层的标签转换逻辑:
from tensorflow.keras.preprocessing.image import ImageDataGenerator import numpy as np class MergeClassImageDataGenerator(ImageDataGenerator): def flow_from_directory(self, *args, **kwargs): # 复用原生生成器的全部图像读取、增强、验证集拆分逻辑 base_gen = super().flow_from_directory(*args, **kwargs) # 标签映射规则:原始类索引[0,1,2] 对应新类标签[0,1,1] label_map = np.array([0, 1, 1]) while True: batch_imgs, batch_raw_labels = next(base_gen) # 将原生输出的3类one-hot标签转换为合并后的二分类标签 merged_labels = np.dot(batch_raw_labels, label_map).reshape(-1, 1) yield batch_imgs, merged_labels
- 用自定义生成器类替换原有
ImageDataGenerator,原有调用参数全部保留无需调整:
train_datagen = MergeClassImageDataGenerator(rescale=1./255, validation_split=0.5) train_generator = train_datagen.flow_from_directory( train_data_dir, target_size=(input_size, input_size), batch_size=batch_size, class_mode='categorical', subset='training') # 验证集生成逻辑无需改动,自动继承合并规则 val_generator = train_datagen.flow_from_directory( train_data_dir, target_size=(input_size, input_size), batch_size=batch_size, class_mode='categorical', subset='validation')
适配注意事项
- 若模型二分类头采用双神经元softmax结构,需将合并后的标签转换为对应one-hot格式:
merged_labels = np.eye(2)[np.dot(batch_raw_labels, label_map).astype(int).flatten()] - 若需调整合并规则(如合并类0和类1),仅需修改
label_map数组取值,无需改动文件结构与其他逻辑 - 完整保留原生生成器的图像随机打乱、增强、自动拆分数据集的能力,不会引入额外的拆分误差
内容的提问来源于stack exchange,提问作者Jack Avante
相关产品推荐
相关产品推荐

