TensorFlow如何从小规模大尺寸图像数据集采样大量纹理样本

首选方案：使用TensorFlow Data原生流水线实现动态裁剪 #

该方案完全不需要自行实现tf.keras.utils.Sequence类造轮子，依托TF原生的C++级数据处理逻辑，效率更高、代码更精简，同时完全满足每个epoch生成不同样本块的需求。100张1000x1000的原图总大小仅数百MB，可直接全量缓存到内存，无需重复读盘。
示例代码如下：

import tensorflow as tf

# 定义单张原图加载逻辑，按需调整通道数、归一化规则
def load_raw_image(file_path):
    img = tf.io.read_file(file_path)
    img = tf.image.decode_png(img, channels=3)
    return tf.cast(img, tf.float32) / 255.0

# 加载所有原图路径，构建基础数据集
raw_image_paths = [f"./your_texture_dir/{i}.png" for i in range(100)]
raw_ds = tf.data.Dataset.from_tensor_slices(raw_image_paths)
raw_ds = raw_ds.map(load_raw_image, num_parallel_calls=tf.data.AUTOTUNE)
# 全量缓存原图到内存，每个epoch自动重排原图顺序
raw_ds = raw_ds.cache().shuffle(100, reshuffle_each_iteration=True)

# 定义动态裁剪+增强逻辑，每次调用生成不同的200x200样本块
def train_preprocess(img):
    # 随机裁剪核心逻辑
    crop_img = tf.image.random_crop(img, size=[200, 200, 3])
    # 可按需添加其他纹理友好的增强操作，不破坏纹理特征即可
    crop_img = tf.image.random_flip_left_right(crop_img)
    crop_img = tf.image.random_flip_up_down(crop_img)
    return crop_img

# 构建无限流训练数据集，按批次输出
train_ds = raw_ds.repeat() # 无限重复原图，不会提前终止训练
train_ds = train_ds.map(train_preprocess, num_parallel_calls=tf.data.AUTOTUNE)
train_ds = train_ds.batch(32) # 替换为你实际使用的batch size
train_ds = train_ds.prefetch(tf.data.AUTOTUNE)

训练时直接将train_ds传入model.fit()即可，可通过steps_per_epoch参数控制每个epoch的迭代步数，按需设置即可。

原方案报错原因说明 #

将随机裁剪层嵌入模型结构训练到多轮后无报错退出，大概率是对应TensorFlow版本的计算图内存泄漏，或是tf.keras.layers.RandomCrop层的已知训练模式bug，将预处理逻辑从模型计算图迁移到数据输入流水线即可完全规避该问题。

可选增强扩展 #

如果需要进一步提升样本多样性，可在裁剪逻辑前增加以下操作：

• 对原图做1~1.2倍的随机缩放，再执行200x200裁剪，获得更多尺度的纹理样本
• 增加±10°范围内的随机旋转、小角度倾斜操作
• 按需添加亮度、对比度、饱和度的小幅扰动，适配纹理分析的任务特性

内容的提问来源于stack exchange，提问作者BobtheMagicMoose