如何使用flow_from_directory从目录中抽取部分图像用于训练
实现flow_from_directory抽取部分样本训练的两种方法
你可以根据使用场景选择以下任意一种方案:
方案1:用自带subset参数实现按比例抽样(无需额外依赖)
这个方案直接用Keras ImageDataGenerator的原生参数实现,代码改动最小:
- 初始化
train_datagen时新增validation_split参数,参数值为你不需要参与训练的样本占比,比如你只想用20%的总样本训练,就设置validation_split=0.8 - 调用
flow_from_directory时新增subset='training'参数,接口会自动只抽取对应比例的样本生成训练集
代码示例:
from tensorflow.keras.preprocessing.image import ImageDataGenerator # 原有图像增强参数保持不变,新增validation_split参数 train_datagen = ImageDataGenerator( rescale=1./255, # 其他你原来配置的旋转、平移等增强参数保留 validation_split=0.8 # 示例:排除80%的样本,仅用剩下20%训练 ) train_generator = train_datagen.flow_from_directory( '/train/', target_size=(img_height, img_width), batch_size=batch_size, class_mode='categorical', subset='training', # 指定取训练子集 shuffle=True # 开启打乱保证抽样随机 )
方案2:自定义抽样规则(支持按类别固定数量取样)
如果你需要更灵活的取样逻辑,比如每个类别固定取N张、优先取符合特定规则的样本,可以先自行遍历目录构造样本列表,再用flow_from_dataframe加载:
代码示例:
import os import pandas as pd from tensorflow.keras.preprocessing.image import ImageDataGenerator train_dir = '/train/' SAMPLE_PER_CLASS = 100 # 每个类别最多取100张样本,可自行调整 # 遍历目录构造抽样后的样本表 sample_list = [] for class_label in os.listdir(train_dir): class_path = os.path.join(train_dir, class_label) if not os.path.isdir(class_path): continue # 可根据需求调整抽样逻辑,比如先打乱再取前N个 class_imgs = os.listdir(class_path)[:SAMPLE_PER_CLASS] for img_name in class_imgs: sample_list.append({ "filename": os.path.join(class_path, img_name), "label": class_label }) sample_df = pd.DataFrame(sample_list) # 用flow_from_dataframe加载抽样后的样本 train_generator = train_datagen.flow_from_dataframe( sample_df, x_col="filename", y_col="label", target_size=(img_height, img_width), batch_size=batch_size, class_mode="categorical" )
注意:如果你的原始数据集本身类别不均衡,优先选方案2,可以手动控制每个类别的取样数量,避免小类别样本被过度稀释。
内容的提问来源于stack exchange,提问作者chedad soumia
相关产品推荐
相关产品推荐

