如何在Keras训练神经网络时随机选取唯一图片ID组成批次？

我懂你要实现的需求：在每个训练epoch里，从20个图片ID里每次随机挑3个不重复的ID组成batch，并且这个采样过程要在整个epoch内重复执行。你的代码已经有了开头，我来帮你补全并提供几种实用的方案～

方案1：手动实现随机batch采样（适合简单场景） #

如果只是想快速实现每个epoch内随机生成多个batch，每个batch内部ID不重复，可以用numpy.random.choice来做：

import numpy as np

image_list = [1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20]
epochs = 10
batch_size = 3
# 自定义每个epoch要生成的batch数量，按需调整
batches_per_epoch = 6

for ep in range(epochs):
    print(f"=== Epoch {ep+1} ===")
    for _ in range(batches_per_epoch):
        # replace=False 确保每个batch里的ID都是唯一的
        batch_ids = np.random.choice(image_list, size=batch_size, replace=False)
        print(f"当前Batch ID: {batch_ids}")
        # 这里插入你的训练逻辑：比如根据ID加载图片、喂给模型训练
        # images = load_images(batch_ids)
        # labels = load_labels(batch_ids)
        # model.train_on_batch(images, labels)

这种方式的特点是允许同一个epoch内重复选到相同的ID，适合数据增强或者不需要遍历所有样本的训练场景。

方案2：标准epoch遍历（每个样本每个epoch至少用一次） #

如果是要遵循常规的训练流程——每个epoch内所有样本都被用到一次，先打乱再按batch分割，可以这样写：

import numpy as np

image_list = [1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20]
epochs = 10
batch_size = 3

for ep in range(epochs):
    print(f"=== Epoch {ep+1} ===")
    # 先打乱整个ID列表，保证每个epoch的样本顺序不同
    shuffled_ids = np.random.permutation(image_list)
    # 按batch_size分割列表，最后一个batch如果不足3个就保留剩余的
    for i in range(0, len(shuffled_ids), batch_size):
        batch_ids = shuffled_ids[i:i+batch_size]
        print(f"当前Batch ID: {batch_ids}")
        # 执行训练步骤
        # ...

方案3：用Keras官方推荐的tf.data.Dataset（更优雅高效） #

如果是在Keras中训练，更推荐用tf.data.Dataset来处理数据流水线，它能自动处理打乱、分批，还支持多线程加载，和model.fit()无缝兼容：

import tensorflow as tf

image_list = [1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20]
batch_size = 3
epochs = 10

# 1. 创建基础数据集
dataset = tf.data.Dataset.from_tensor_slices(image_list)
# 2. 打乱数据，buffer_size设为样本总数保证充分打乱
dataset = dataset.shuffle(buffer_size=len(image_list))
# 3. 分批，drop_remainder=True会丢弃最后一个不足的batch，False则保留
dataset = dataset.batch(batch_size, drop_remainder=False)

# 手动遍历训练（也可以直接用model.fit）
for ep in range(epochs):
    print(f"=== Epoch {ep+1} ===")
    for batch_ids in dataset:
        print(f"当前Batch ID: {batch_ids.numpy()}")
        # 加载数据并训练
        # images = load_images(batch_ids.numpy())
        # labels = load_labels(batch_ids.numpy())
        # model.train_on_batch(images, labels)

# 或者直接用model.fit，更省心
# model.fit(dataset, epochs=epochs)

如果需要自定义数据加载逻辑，还可以用map方法扩展：

def load_data(img_id):
    # 这里写你的图片和标签加载逻辑，示例如下
    img_path = tf.strings.format("image_{}.jpg", img_id)
    image = tf.io.read_file(img_path)
    image = tf.image.decode_jpeg(image, channels=3)
    image = tf.image.resize(image, (224, 224)) / 255.0  # 归一化
    label = tf.one_hot(img_id % 2, depth=2)  # 示例标签，根据你的任务修改
    return image, label

# 扩展数据集
dataset = dataset.map(load_data, num_parallel_calls=tf.data.AUTOTUNE)
dataset = dataset.batch(batch_size)

# 直接训练
# model.fit(dataset, epochs=epochs)

这种方式是Keras官方推荐的最佳实践，代码更简洁，性能也更优～

内容的提问来源于stack exchange，提问作者Ka93