为什么TensorFlow生成数据集时会对数据执行两次shuffle操作？

关于注释中“each iteration”的含义 #

这里的迭代指的是模型训练过程中每一轮完整遍历全部训练数据的过程，也就是常说的单个epoch的遍历流程。

两次shuffle的定位差异 #

• 第195行的第一次shuffle是对所有滑动窗口的起始位置做全局打乱，确定当前epoch所有样本的整体取用顺序
• 第222行的第二次shuffle是批次生成前的局部打乱，对应注释提到的「每轮迭代的局部打乱」逻辑

第二次shuffle的训练增益 #

时序滑动窗口天然存在时间维度的临近相关性，哪怕已经做过全局起始位置打乱，直接按生成顺序组batch时，同一个批次内的样本仍大概率是时间位置接近的窗口，会带来一系列训练问题，第二次shuffle就是为了规避这类问题：

1. 避免模型学习虚假的批次内关联：如果同批次样本都来自连续时间区间，模型可能错误拟合批次内部的临时时序关联，而非通用的时序预测规律
2. 降低梯度估计偏差：打乱后同批次样本的时间分布更均匀，批次数据分布更接近全量数据集的分布，梯度计算更准确，训练过程的loss波动更小、收敛更稳定
3. 提升模型泛化能力：可以避免模型过拟合到固定的局部时序特征，减少对某段时间独有规律的记忆，提升在未知时序数据上的预测效果

内容的提问来源于stack exchange，提问作者Nomenator