TensorFlow生成器数据集：batch、prefetch、shuffle、cache的正确调用顺序

你的当前调用顺序不正确，会导致shuffle失效、prefetch效率低下的问题，正确的顺序及原因如下：

正确调用顺序 #

ds = tf.data.Dataset.from_generator(my_generator)
ds = ds.cache().shuffle(1000).batch(128).prefetch(tf.data.AUTOTUNE)

各步骤顺序的关键原因 #

• 先调用cache()：把生成器输出的原始样本直接缓存到内存/磁盘，彻底避免每个epoch重复执行生成器里的逻辑（比如文件读取、数据预处理），这才是你用cache的核心目的。如果cache放在后面，第一个epoch还是要跑完全部生成器逻辑，后续只是缓存batch后的结果，没最大化cache的价值。
• 接着调用shuffle()：在缓存的原始样本层面打乱顺序，这样每个epoch迭代时，都会从缓存的数据集里重新打乱样本顺序，保证训练的随机性。要是shuffle在batch之后，那打乱的是batch的顺序，样本在batch里的位置还是固定的，完全达不到随机训练的效果。
• 然后调用batch()：把打乱后的单个样本打包成批量，这步必须在shuffle之后，否则批量内的样本顺序永远固定，shuffle的作用就打折扣了。
• 最后调用prefetch()：让数据加载器提前准备好下一个batch，和模型的训练过程并行执行，最大化利用CPU/GPU资源。prefetch放在最后是因为我们要提前准备的是最终要喂给模型的batch数据，而不是中间状态的单个样本，这样效率最高。

当前顺序的问题 #

1. prefetch放在最前面：此时预取的是生成器输出的单个原始样本，后续还要经过shuffle、batch处理，预取的资源完全没用到点子上，反而浪费内存。
2. cache放在最后：缓存的是已经batch好的数据，导致shuffle只在第一个epoch生效，后续所有epoch都会用缓存里固定顺序的batch，完全失去了训练随机性，这对模型收敛影响很大。

内容的提问来源于stack exchange，提问作者Mykola Zotko