You need to enable JavaScript to run this app. TensorFlow ImageDataGenerator如何不修改文件夹结构合并两类为单类
优惠活动
大模型
产品
解决方案
定价
更多

TensorFlow ImageDataGenerator如何不修改文件夹结构合并两类为单类

不改动目录结构的类合并方案

完全不需要调整磁盘上的文件夹、不复制/移动任何图像文件,仅需在原有数据生成流程的输出层增加标签映射逻辑,即可完成类1、类2的合并,完整保留原有validation_split自动拆分训练/验证集的能力。

实现原理

原生flow_from_directory会按照目录字典顺序为3个类分配固定索引:{'0':0, '1':1, '2':2}。合并规则为:

  • 原始类0的图像映射为新类0
  • 原始类1、类2的图像统一映射为新类1
    在生成器输出每批次数据时,对原始标签做定向转换即可完成合并,全程不触碰磁盘文件。

代码改造步骤

  • 自定义继承ImageDataGenerator,重写输出层的标签转换逻辑:
from tensorflow.keras.preprocessing.image import ImageDataGenerator
import numpy as np

class MergeClassImageDataGenerator(ImageDataGenerator):
    def flow_from_directory(self, *args, **kwargs):
        # 复用原生生成器的全部图像读取、增强、验证集拆分逻辑
        base_gen = super().flow_from_directory(*args, **kwargs)
        # 标签映射规则:原始类索引[0,1,2] 对应新类标签[0,1,1]
        label_map = np.array([0, 1, 1])
        while True:
            batch_imgs, batch_raw_labels = next(base_gen)
            # 将原生输出的3类one-hot标签转换为合并后的二分类标签
            merged_labels = np.dot(batch_raw_labels, label_map).reshape(-1, 1)
            yield batch_imgs, merged_labels
  • 用自定义生成器类替换原有ImageDataGenerator,原有调用参数全部保留无需调整:
train_datagen = MergeClassImageDataGenerator(rescale=1./255, validation_split=0.5)

train_generator = train_datagen.flow_from_directory(
    train_data_dir,
    target_size=(input_size, input_size),
    batch_size=batch_size,
    class_mode='categorical',
    subset='training')

# 验证集生成逻辑无需改动,自动继承合并规则
val_generator = train_datagen.flow_from_directory(
    train_data_dir,
    target_size=(input_size, input_size),
    batch_size=batch_size,
    class_mode='categorical',
    subset='validation')

适配注意事项

  • 若模型二分类头采用双神经元softmax结构,需将合并后的标签转换为对应one-hot格式:merged_labels = np.eye(2)[np.dot(batch_raw_labels, label_map).astype(int).flatten()]
  • 若需调整合并规则(如合并类0和类1),仅需修改label_map数组取值,无需改动文件结构与其他逻辑
  • 完整保留原生生成器的图像随机打乱、增强、自动拆分数据集的能力,不会引入额外的拆分误差

内容的提问来源于stack exchange,提问作者Jack Avante

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.03 12:45:08