使用tf.data.Dataset.zip后图像与文件路径洗牌不同步的问题

你遇到的核心问题是：image_dataset_from_directory单独洗牌图像数据集后，用zip合并路径数据集会导致两者洗牌不同步；关掉原函数的shuffle后，model.fit的shuffle参数对tf.data.Dataset不生效，训练时无法洗牌。

直接的解决思路是先把图像和对应的文件路径绑定成统一的数据单元，再整体执行洗牌和批量操作，确保洗牌时图像与路径始终同步。

具体实现步骤 #

1. 以无批量、无洗牌的方式导入数据集
   关闭image_dataset_from_directory的shuffle，同时设置batch_size=None，让数据集先以单样本形式存在，方便后续配对路径：

   train_ds, val_ds = image_dataset_from_directory(
       my_data_folder,
       label_mode=None,
       seed=123,
       image_size=(224,224),
       batch_size=None,  # 暂不批量，先保留单样本
       validation_split=0.4,
       subset='both',
       shuffle=False)  # 关闭原函数的洗牌，后续统一处理
   

2. 将图像与对应文件路径绑定为统一数据集
   利用from_tensor_slices把每个图像样本和它的文件路径配对成一个数据单元，再统一做洗牌和批量：

   # 处理训练集：绑定图像与路径 → 整体洗牌 → 批量
   train_paths = train_ds.file_paths
   train_ds_with_paths = tf.data.Dataset.from_tensor_slices((train_ds, train_paths))
   # buffer_size建议设为数据集大小，保证洗牌充分；数据集过大时可设较大合理值（如10000）
   train_ds_with_paths = train_ds_with_paths.shuffle(buffer_size=len(train_paths), seed=123)
   train_ds_with_paths = train_ds_with_paths.batch(32)
   
   # 处理验证集：一般无需洗牌，直接绑定后批量即可
   val_paths = val_ds.file_paths
   val_ds_with_paths = tf.data.Dataset.from_tensor_slices((val_ds, val_paths)).batch(32)
   

关键原理 #

这种方式下，图像和路径是作为一个整体被洗牌的，每次遍历数据集时，打乱的是整个（图像+路径）单元，从根本上避免了错位问题。同时训练集的shuffle会在每次迭代时生效，满足训练时的洗牌需求。

额外注意 #

• 保持seed参数一致，方便后续复现实验结果。
• 验证集通常不需要洗牌，若有特殊需求，可参照训练集的流程添加洗牌步骤。

内容的提问来源于stack exchange，提问作者André