无类文件夹时，TensorFlow图像分类数据集构建的替代方案咨询

对于你的场景，TensorFlow当前推荐的方案是直接使用**tf.data.Dataset** API来构建自定义数据集，完全不需要移动图片或使用已弃用的ImageDataGenerator。以下是具体实现步骤：

1. 预处理标签与路径 #

首先需要把字符串类型的标签转换为整数（分类任务的标准格式），同时清理路径中的多余空格（你的路径列表里每个路径前都有空格，会导致读取失败）：

import tensorflow as tf

# 清理路径并转换标签为整数
train_paths = [path.strip() for path in list_imagepath_train]
train_labels = [int(label) for label in list_corresponding_classlabels_train]

val_paths = [path.strip() for path in list_imagepath_val]
val_labels = [int(label) for label in list_corresponding_classlabels_val]

2. 创建基础数据集 #

用tf.data.Dataset.from_tensor_slices将图片路径和对应标签配对，构建基础数据集：

# 构建训练集和验证集的基础Dataset
train_dataset = tf.data.Dataset.from_tensor_slices((train_paths, train_labels))
val_dataset = tf.data.Dataset.from_tensor_slices((val_paths, val_labels))

3. 编写图像预处理函数 #

定义一个函数来完成图片的读取、解码、尺寸调整和归一化操作，你可以根据需求添加数据增强逻辑：

def preprocess_image(image_path, label):
    # 读取图片文件
    img = tf.io.read_file(image_path)
    # 解码为RGB格式（如果是灰度图可以用tf.image.decode_grayscale）
    img = tf.image.decode_jpeg(img, channels=3)
    # 调整图片到目标尺寸（根据你的模型输入修改，比如(224,224)）
    img = tf.image.resize(img, (224, 224))
    # 归一化像素值到[0,1]区间
    img = tf.cast(img, tf.float32) / 255.0
    # 可选：添加数据增强（比如随机翻转）
    # img = tf.image.random_flip_left_right(img)
    return img, label

4. 映射预处理并优化数据集 #

将预处理函数映射到数据集上，同时设置shuffle、batch和prefetch来提升训练效率：

# 配置参数
BATCH_SIZE = 32
AUTOTUNE = tf.data.AUTOTUNE

# 处理训练集：shuffle + 预处理 + batch + prefetch
train_dataset = train_dataset.shuffle(buffer_size=len(train_paths)) \
                             .map(preprocess_image, num_parallel_calls=AUTOTUNE) \
                             .batch(BATCH_SIZE) \
                             .prefetch(AUTOTUNE)

# 处理验证集：不需要shuffle，直接预处理 + batch + prefetch
val_dataset = val_dataset.map(preprocess_image, num_parallel_calls=AUTOTUNE) \
                         .batch(BATCH_SIZE) \
                         .prefetch(AUTOTUNE)

5. 直接用于模型训练 #

处理完成的train_dataset和val_dataset可以直接传入model.fit()：

# 假设你已经定义好了模型model
model.fit(
    train_dataset,
    validation_data=val_dataset,
    epochs=10
)

关键说明 #

• tf.data.Dataset是TensorFlow 2.x以来的官方推荐数据管道，性能比旧的ImageDataGenerator更优
• 如果需要更复杂的数据增强，可以在preprocess_image函数中加入tf.image模块的相关操作（比如随机旋转、亮度调整等）
• 如果标签需要转换为one-hot编码，可以在预处理函数中添加tf.one_hot(label, num_classes=你的类别数)

内容的提问来源于stack exchange，提问作者Crazy Engineer