TensorFlow数据增强:如何为少样本类别添加旋转生成新图并合并回主数据集
现有实现的问题
- 遍历
tf.data.Dataset时用Python原生for循环完全不符合tf.data的流式设计,会把所有数据加载到内存,效率极低,大数据量下甚至直接内存溢出 - 生成的增强图没有绑定对应标签,拼接后会丢失标签信息,后续训练直接报错
- 使用numpy实现的
tf.keras.preprocessing.image.random_rotation无法被tf.data调度并行执行,速度远低于tensorflow原生操作
方案一:离线固定扩充数据集(完全匹配生成3张补充图的需求)
核心是用flat_map把每个原始样本映射为包含原图像+3张增强图的子数据集,再自动拼接所有子数据集,不需要手动循环拼接。
完整实现代码
import os import tensorflow as tf from functools import partial # 原有参数配置 DATA_DIR = "你的数据集根目录" image_size = (224, 224) batch_size = 32 train_data_size = 1000 # 可根据总样本量调整 # 原有预处理函数(返回(image, label),从文件路径解析标签) def preprocessing(file_path, target_size): # 从路径解析类别标签,比如路径为DATA_DIR/3/xxx.jpg,解析为整数3 label = tf.strings.split(file_path, os.sep)[-2] label = tf.strings.to_number(label, out_type=tf.int64) # 加载图像、resize、归一化逻辑和原有实现一致 image = tf.io.read_file(file_path) image = tf.image.decode_jpeg(image, channels=3) image = tf.image.resize(image, target_size) image = image / 255.0 # 替换为你原有的归一化逻辑 return image, label preprocess_function = partial(preprocessing, target_size=image_size) # 1. 定义扩充函数:每个原始样本生成原图像+3张随机旋转的补充图 def expand_lacking_samples(image, label): # 初始子数据集包含原始样本 sample_ds = tf.data.Dataset.from_tensors((image, label)) # 定义旋转层,factor=0.5对应±180度旋转,和原有random_rotation的参数匹配 # 若不需要固定的增强结果,去掉seed=42参数即可 rotate_layer = tf.keras.layers.RandomRotation(factor=0.5, seed=42) # 生成3个增强样本并拼接到子数据集 for _ in range(3): aug_image = rotate_layer(image) sample_ds = sample_ds.concatenate(tf.data.Dataset.from_tensors((aug_image, label))) return sample_ds # 2. 加载样本不足的类别3的数据集,做预处理 lacking_paths = tf.data.Dataset.list_files(DATA_DIR + '/3/*') processed_lacking = lacking_paths.map(preprocess_function, num_parallel_calls=tf.data.AUTOTUNE) # 用flat_map展开所有扩充后的样本 expanded_lacking = processed_lacking.flat_map(expand_lacking_samples) # 3. 加载其余所有类别的数据集(排除类别3) other_paths = tf.data.Dataset.list_files(DATA_DIR + '/*/*').filter( lambda x: not tf.strings.startswith(x, DATA_DIR + '/3' + os.sep) ) processed_others = other_paths.map(preprocess_function, num_parallel_calls=tf.data.AUTOTUNE) # 4. 合并两个数据集,后续流程和原有逻辑一致 full_dataset = expanded_lacking.concatenate(processed_others) full_dataset = full_dataset.shuffle(buffer_size=1000, seed=42) # buffer_size设为总样本量的10%~20%即可 # 划分训练、测试集 train_data = full_dataset.take(train_data_size).batch(batch_size).prefetch(tf.data.AUTOTUNE) test_data = full_dataset.skip(train_data_size).batch(batch_size).prefetch(tf.data.AUTOTUNE) # 后续模型编译、训练的代码和原有实现完全一致
方案二:在线动态增强(更高效,泛化效果更好)
不需要离线生成固定的3张补充图,训练时对类别3的样本实时做随机旋转,相当于每个epoch都能生成新的增强样本,不额外占磁盘空间,泛化效果优于离线固定扩充。
完整实现代码
import os import tensorflow as tf # 参数配置和原有一致 DATA_DIR = "你的数据集根目录" image_size = (224, 224) batch_size = 32 train_data_size = 1000 # 训练集预处理:仅对类别3的样本做增强 def preprocess_train(file_path): label = tf.strings.split(file_path, os.sep)[-2] label = tf.strings.to_number(label, out_type=tf.int64) image = tf.io.read_file(file_path) image = tf.image.decode_jpeg(image, channels=3) image = tf.image.resize(image, image_size) image = image / 255.0 # 仅类别3做随机旋转增强 if label == 3: image = tf.keras.layers.RandomRotation(factor=0.5)(image, training=True) return image, label # 测试集预处理:不做任何增强,保证验证结果准确 def preprocess_test(file_path): label = tf.strings.split(file_path, os.sep)[-2] label = tf.strings.to_number(label, out_type=tf.int64) image = tf.io.read_file(file_path) image = tf.image.decode_jpeg(image, channels=3) image = tf.image.resize(image, image_size) image = image / 255.0 return image, label # 构建数据集 all_paths = tf.data.Dataset.list_files(DATA_DIR + '/*/*', seed=42).shuffle(buffer_size=1000, seed=42) train_paths = all_paths.take(train_data_size) test_paths = all_paths.skip(train_data_size) train_data = train_paths.map(preprocess_train, num_parallel_calls=tf.data.AUTOTUNE).batch(batch_size).prefetch(tf.data.AUTOTUNE) test_data = test_paths.map(preprocess_test, num_parallel_calls=tf.data.AUTOTUNE).batch(batch_size).prefetch(tf.data.AUTOTUNE)
优化说明
- 所有map操作都加了
num_parallel_calls=tf.data.AUTOTUNE,自动多线程加载数据,速度比单线程快3~5倍 - 加了
prefetch(tf.data.AUTOTUNE),让数据加载和模型训练并行,减少GPU等待数据的时间 - 所有增强操作都是tensorflow原生实现,能进计算图,没有numpy开销,速度远高于原有使用的
tf.keras.preprocessing.image.random_rotation - 在线增强方案每次训练时类别3的样本旋转角度都随机生成,相当于无限扩充样本,不会出现离线生成3张固定图的过拟合增强样本的问题
内容的提问来源于stack exchange,提问作者MongChangHsi
相关产品推荐
相关产品推荐

