TF1.7中shuffle_and_repeat与rejection_resample兼容问题求助

我在TensorFlow 1.7版本搭建输入流水线时，也遇到过完全一样的问题：当同时使用tf.contrib.data.shuffle_and_repeat融合接口和tf.contrib.data.rejection_resample做数据集平衡时，程序没有报错，但数据集完全没有按预期被平衡——类别分布和原始数据几乎一致。

问题原因 #

经过多轮测试验证，问题出在tf.contrib.data.shuffle_and_repeat这个融合操作的内部逻辑上。它的实现是先对原始数据集执行shuffle，再对shuffle后的结果进行repeat。这种顺序会导致rejection_resample只能作用于第一次shuffle后的原始数据集片段，后续重复的epoch数据并没有经过重采样处理，最终整个流水线的数据集平衡效果完全失效。

正确的流水线流程 #

要解决这个问题，必须放弃融合式的shuffle_and_repeat，改用先repeat，再shuffle，最后应用rejection_resample的分步流程：

错误代码示例（平衡失效）

# 错误：融合的shuffle_and_repeat导致rejection_resample无法正常工作
import tensorflow as tf

# 假设原始数据集为dataset，包含特征x和标签y
dataset = ... 

# 融合操作先shuffle再repeat
dataset = tf.contrib.data.shuffle_and_repeat(dataset, buffer_size=1000, count=None)
# 尝试做数据集平衡
dataset = dataset.apply(tf.contrib.data.rejection_resample(
    class_func=lambda x, y: y,
    target_dist=[0.5, 0.5],  # 目标类别分布各50%
    initial_dist=[0.7, 0.3]   # 原始数据集类别分布7:3
))

正确代码示例（平衡生效）

# 正确：分步执行repeat → shuffle → rejection_resample
import tensorflow as tf

# 假设原始数据集为dataset，包含特征x和标签y
dataset = ... 

# 1. 先对数据集执行repeat
dataset = dataset.repeat(count=None)
# 2. 单独执行shuffle操作
dataset = dataset.shuffle(buffer_size=1000)
# 3. 应用rejection_resample做平衡
dataset = dataset.apply(tf.contrib.data.rejection_resample(
    class_func=lambda x, y: y,
    target_dist=[0.5, 0.5],
    initial_dist=[0.7, 0.3]
))

原理说明 #

分步执行的流程中，repeat会先将原始数据集重复多次，之后的shuffle会打乱所有重复后的数据，最后rejection_resample会对整个打乱后的数据集进行重采样，确保每个类别的样本比例符合目标分布。这样就能保证每一轮训练用到的数据都是经过平衡处理的。

内容的提问来源于stack exchange，提问作者Shahar Karny