如何提升使用生成器时model.fit()的训练性能？

架构老林

2026-7-4

问题根源与解决方案

你之前生成器效果差的核心原因是没有在每个epoch后打乱数据顺序，和全量加载时的shuffle=True行为不一致：

全量加载时，model.fit的shuffle=True会在每个epoch开始前打乱整个数据集，保证每个epoch的样本顺序完全随机，这是模型稳定收敛的关键。
场景2的生成器只是按固定索引顺序取batch，每个epoch的样本顺序完全相同，模型容易过拟合到固定顺序的样本，导致效果下滑。

场景4添加on_epoch_end()方法后，每个epoch结束时会打乱训练集的索引映射，这就和全量加载的洗牌逻辑对齐了，因此效果能追平全量加载的模式。

生成器中`shuffle`参数的实际作用

当使用tf.keras.utils.Sequence子类作为生成器时，model.fit里的shuffle=True完全无效。因为Sequence类是通过__getitem__按索引顺序返回batch，Keras不会干预Sequence内部的样本顺序。

只有当你使用普通Python生成器（不是Sequence子类）时，shuffle=True才会让Keras在每个epoch前打乱生成器的输出顺序，但这种方式的可控性远不如在Sequence中实现on_epoch_end()。

所以正确的做法是：

继承Sequence实现生成器时，可以忽略model.fit的shuffle参数，甚至直接设为False，避免混淆。
在生成器类中实现on_epoch_end()方法，仅对训练集的索引进行随机打乱，验证集不需要洗牌。

额外优化建议

避免丢弃末尾样本：原代码中__len__用//会丢弃最后一个不足batch_size的样本，可修改为：

def __len__(self):
    return (len(self.index_map) + self.batch_size - 1) // self.batch_size

def __getitem__(self, index):
    start = index * self.batch_size
    end = min(start + self.batch_size, len(self.index_map))
    X_batch = self.X[self.index_map[start:end]]
    y_batch = self.y[self.index_map[start:end]]
    return X_batch, y_batch