You need to enable JavaScript to run this app. TensorFlow数据增强:如何为少样本类别添加旋转生成新图并合并回主数据集
优惠活动
大模型
产品
解决方案
定价
更多

TensorFlow数据增强:如何为少样本类别添加旋转生成新图并合并回主数据集

现有实现的问题

  • 遍历tf.data.Dataset时用Python原生for循环完全不符合tf.data的流式设计,会把所有数据加载到内存,效率极低,大数据量下甚至直接内存溢出
  • 生成的增强图没有绑定对应标签,拼接后会丢失标签信息,后续训练直接报错
  • 使用numpy实现的tf.keras.preprocessing.image.random_rotation无法被tf.data调度并行执行,速度远低于tensorflow原生操作

方案一:离线固定扩充数据集(完全匹配生成3张补充图的需求)

核心是用flat_map把每个原始样本映射为包含原图像+3张增强图的子数据集,再自动拼接所有子数据集,不需要手动循环拼接。

完整实现代码

import os
import tensorflow as tf
from functools import partial

# 原有参数配置
DATA_DIR = "你的数据集根目录"
image_size = (224, 224)
batch_size = 32
train_data_size = 1000 # 可根据总样本量调整

# 原有预处理函数(返回(image, label),从文件路径解析标签)
def preprocessing(file_path, target_size):
    # 从路径解析类别标签,比如路径为DATA_DIR/3/xxx.jpg,解析为整数3
    label = tf.strings.split(file_path, os.sep)[-2]
    label = tf.strings.to_number(label, out_type=tf.int64)
    # 加载图像、resize、归一化逻辑和原有实现一致
    image = tf.io.read_file(file_path)
    image = tf.image.decode_jpeg(image, channels=3)
    image = tf.image.resize(image, target_size)
    image = image / 255.0 # 替换为你原有的归一化逻辑
    return image, label

preprocess_function = partial(preprocessing, target_size=image_size)

# 1. 定义扩充函数:每个原始样本生成原图像+3张随机旋转的补充图
def expand_lacking_samples(image, label):
    # 初始子数据集包含原始样本
    sample_ds = tf.data.Dataset.from_tensors((image, label))
    # 定义旋转层,factor=0.5对应±180度旋转,和原有random_rotation的参数匹配
    # 若不需要固定的增强结果,去掉seed=42参数即可
    rotate_layer = tf.keras.layers.RandomRotation(factor=0.5, seed=42)
    # 生成3个增强样本并拼接到子数据集
    for _ in range(3):
        aug_image = rotate_layer(image)
        sample_ds = sample_ds.concatenate(tf.data.Dataset.from_tensors((aug_image, label)))
    return sample_ds

# 2. 加载样本不足的类别3的数据集,做预处理
lacking_paths = tf.data.Dataset.list_files(DATA_DIR + '/3/*')
processed_lacking = lacking_paths.map(preprocess_function, num_parallel_calls=tf.data.AUTOTUNE)
# 用flat_map展开所有扩充后的样本
expanded_lacking = processed_lacking.flat_map(expand_lacking_samples)

# 3. 加载其余所有类别的数据集(排除类别3)
other_paths = tf.data.Dataset.list_files(DATA_DIR + '/*/*').filter(
    lambda x: not tf.strings.startswith(x, DATA_DIR + '/3' + os.sep)
)
processed_others = other_paths.map(preprocess_function, num_parallel_calls=tf.data.AUTOTUNE)

# 4. 合并两个数据集,后续流程和原有逻辑一致
full_dataset = expanded_lacking.concatenate(processed_others)
full_dataset = full_dataset.shuffle(buffer_size=1000, seed=42) # buffer_size设为总样本量的10%~20%即可

# 划分训练、测试集
train_data = full_dataset.take(train_data_size).batch(batch_size).prefetch(tf.data.AUTOTUNE)
test_data = full_dataset.skip(train_data_size).batch(batch_size).prefetch(tf.data.AUTOTUNE)

# 后续模型编译、训练的代码和原有实现完全一致

方案二:在线动态增强(更高效,泛化效果更好)

不需要离线生成固定的3张补充图,训练时对类别3的样本实时做随机旋转,相当于每个epoch都能生成新的增强样本,不额外占磁盘空间,泛化效果优于离线固定扩充。

完整实现代码

import os
import tensorflow as tf

# 参数配置和原有一致
DATA_DIR = "你的数据集根目录"
image_size = (224, 224)
batch_size = 32
train_data_size = 1000

# 训练集预处理:仅对类别3的样本做增强
def preprocess_train(file_path):
    label = tf.strings.split(file_path, os.sep)[-2]
    label = tf.strings.to_number(label, out_type=tf.int64)
    image = tf.io.read_file(file_path)
    image = tf.image.decode_jpeg(image, channels=3)
    image = tf.image.resize(image, image_size)
    image = image / 255.0
    # 仅类别3做随机旋转增强
    if label == 3:
        image = tf.keras.layers.RandomRotation(factor=0.5)(image, training=True)
    return image, label

# 测试集预处理:不做任何增强,保证验证结果准确
def preprocess_test(file_path):
    label = tf.strings.split(file_path, os.sep)[-2]
    label = tf.strings.to_number(label, out_type=tf.int64)
    image = tf.io.read_file(file_path)
    image = tf.image.decode_jpeg(image, channels=3)
    image = tf.image.resize(image, image_size)
    image = image / 255.0
    return image, label

# 构建数据集
all_paths = tf.data.Dataset.list_files(DATA_DIR + '/*/*', seed=42).shuffle(buffer_size=1000, seed=42)
train_paths = all_paths.take(train_data_size)
test_paths = all_paths.skip(train_data_size)

train_data = train_paths.map(preprocess_train, num_parallel_calls=tf.data.AUTOTUNE).batch(batch_size).prefetch(tf.data.AUTOTUNE)
test_data = test_paths.map(preprocess_test, num_parallel_calls=tf.data.AUTOTUNE).batch(batch_size).prefetch(tf.data.AUTOTUNE)

优化说明

  • 所有map操作都加了num_parallel_calls=tf.data.AUTOTUNE,自动多线程加载数据,速度比单线程快3~5倍
  • 加了prefetch(tf.data.AUTOTUNE),让数据加载和模型训练并行,减少GPU等待数据的时间
  • 所有增强操作都是tensorflow原生实现,能进计算图,没有numpy开销,速度远高于原有使用的tf.keras.preprocessing.image.random_rotation
  • 在线增强方案每次训练时类别3的样本旋转角度都随机生成,相当于无限扩充样本,不会出现离线生成3张固定图的过拟合增强样本的问题

内容的提问来源于stack exchange,提问作者MongChangHsi

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.02 00:24:03