Keras课程学习：请求修改训练数据打乱逻辑（先分批次再打乱批次）

这需求太常见了，尤其是做课程学习的时候——要死死保住样本的排序逻辑，只打乱批次顺序对吧？核心就是绕开Keras默认的「先打乱样本再分批次」逻辑，自己手动控制批次的生成和打乱步骤。下面给你两种靠谱的实现方式，选适合你数据场景的就行：

方法一：用tf.data.Dataset（推荐，适配TensorFlow生态） #

tf.data的API天生适合这种自定义数据流水线，步骤清晰还能兼顾性能：

1. 先把已经按课程规则排好序的样本，直接按batch_size切分成固定批次（批次内顺序完全保留你之前的排序）；
2. 对这些批次组成的数据集进行打乱操作（只打乱批次的顺序，批次内样本纹丝不动）；
3. 最后加上多epoch重复和预取优化，就可以喂给模型训练了。

代码示例：

import tensorflow as tf

# 假设你的已排序数据是x_sorted、y_sorted（已经按课程学习规则排好序）
batch_size = 32
total_samples = len(x_sorted)
num_batches = total_samples // batch_size

# 1. 按顺序切分批次（drop_remainder=True确保每个批次大小一致，可选）
dataset = tf.data.Dataset.from_tensor_slices((x_sorted, y_sorted))
dataset = dataset.batch(batch_size, drop_remainder=True)

# 2. 打乱批次顺序：buffer_size设为总批次数，保证所有批次都能被充分打乱
dataset = dataset.shuffle(buffer_size=num_batches)

# 3. 重复多epoch + 预取提升训练效率
dataset = dataset.repeat().prefetch(tf.data.AUTOTUNE)

# 训练时指定steps_per_epoch为总批次数
model.fit(dataset, epochs=10, steps_per_epoch=num_batches)

方法二：自定义Sequence类（灵活，适合非TensorFlow原生数据） #

如果你的数据是numpy数组或者需要自定义加载逻辑，用Keras的Sequence类会更灵活。核心是在每个epoch结束时打乱批次的索引，而不是打乱样本本身：

from tensorflow.keras.utils import Sequence
import numpy as np

class CurriculumBatchSequence(Sequence):
    def __init__(self, x_sorted, y_sorted, batch_size):
        self.x = x_sorted
        self.y = y_sorted
        self.batch_size = batch_size
        # 预先生成所有批次的样本索引范围（完全按排序后的顺序切分）
        self.batch_indices = [range(i, i+batch_size) for i in range(0, len(x_sorted), batch_size)]
        # 移除最后一个不满batch_size的批次（如果不需要可以注释掉）
        if len(self.batch_indices[-1]) < batch_size:
            self.batch_indices = self.batch_indices[:-1]
    
    def __len__(self):
        # 返回总批次数
        return len(self.batch_indices)
    
    def __getitem__(self, idx):
        # 根据当前批次索引返回对应样本（批次内顺序不变）
        current_indices = self.batch_indices[idx]
        return self.x[current_indices], self.y[current_indices]
    
    def on_epoch_end(self):
        # 每个epoch结束后打乱批次的顺序（核心逻辑）
        np.random.shuffle(self.batch_indices)

使用的时候直接把这个Sequence对象传给model.fit()就行：

train_sequence = CurriculumBatchSequence(x_sorted, y_sorted, batch_size=32)
model.fit(train_sequence, epochs=10)

关键注意点 #

• 绝对不要在分批次之前打乱样本！必须保证先按课程学习的顺序切分批次，再打乱批次顺序，这样才能保住你辛苦排序的样本逻辑。
• 关于最后一个不满batch_size的批次：如果你的数据集样本数不是batch_size的整数倍，根据需求决定是否保留——保留的话可能会影响训练稳定性，建议用drop_remainder=True或者移除最后一批。

内容的提问来源于stack exchange，提问作者RahimEnt