You need to enable JavaScript to run this app. 如何使用flow_from_directory从目录中抽取部分图像用于训练
优惠活动
大模型
产品
解决方案
定价
更多

如何使用flow_from_directory从目录中抽取部分图像用于训练

实现flow_from_directory抽取部分样本训练的两种方法

你可以根据使用场景选择以下任意一种方案:

方案1:用自带subset参数实现按比例抽样(无需额外依赖)

这个方案直接用Keras ImageDataGenerator的原生参数实现,代码改动最小:

  • 初始化train_datagen时新增validation_split参数,参数值为你不需要参与训练的样本占比,比如你只想用20%的总样本训练,就设置validation_split=0.8
  • 调用flow_from_directory时新增subset='training'参数,接口会自动只抽取对应比例的样本生成训练集

代码示例:

from tensorflow.keras.preprocessing.image import ImageDataGenerator

# 原有图像增强参数保持不变,新增validation_split参数
train_datagen = ImageDataGenerator(
    rescale=1./255,
    # 其他你原来配置的旋转、平移等增强参数保留
    validation_split=0.8 # 示例:排除80%的样本,仅用剩下20%训练
)

train_generator = train_datagen.flow_from_directory(
    '/train/',
    target_size=(img_height, img_width),
    batch_size=batch_size,
    class_mode='categorical',
    subset='training', # 指定取训练子集
    shuffle=True # 开启打乱保证抽样随机
)

方案2:自定义抽样规则(支持按类别固定数量取样)

如果你需要更灵活的取样逻辑,比如每个类别固定取N张、优先取符合特定规则的样本,可以先自行遍历目录构造样本列表,再用flow_from_dataframe加载:
代码示例:

import os
import pandas as pd
from tensorflow.keras.preprocessing.image import ImageDataGenerator

train_dir = '/train/'
SAMPLE_PER_CLASS = 100 # 每个类别最多取100张样本,可自行调整

# 遍历目录构造抽样后的样本表
sample_list = []
for class_label in os.listdir(train_dir):
    class_path = os.path.join(train_dir, class_label)
    if not os.path.isdir(class_path):
        continue
    # 可根据需求调整抽样逻辑,比如先打乱再取前N个
    class_imgs = os.listdir(class_path)[:SAMPLE_PER_CLASS]
    for img_name in class_imgs:
        sample_list.append({
            "filename": os.path.join(class_path, img_name),
            "label": class_label
        })
sample_df = pd.DataFrame(sample_list)

# 用flow_from_dataframe加载抽样后的样本
train_generator = train_datagen.flow_from_dataframe(
    sample_df,
    x_col="filename",
    y_col="label",
    target_size=(img_height, img_width),
    batch_size=batch_size,
    class_mode="categorical"
)

注意:如果你的原始数据集本身类别不均衡,优先选方案2,可以手动控制每个类别的取样数量,避免小类别样本被过度稀释。

内容的提问来源于stack exchange,提问作者chedad soumia

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.16 13:54:04