如何合并多个tensorflow.python.data.ops.dataset_ops.BatchDataset？

问题场景 #

从同一文件夹通过preprocessing.image_dataset_from_directory生成两个BatchDataset（data1和data2），需要将data2追加到data1后用于模型训练，但遇到以下问题：

• 使用data1.concatenate(data2)拼接后，测试阶段抛出错误：

  categorical_crossentropy target.shape.assert_is_compatible_with(output.shape)
  ValueError: Shapes (None, 1) and (None, 2) are incompatible

• 使用np.append()时，训练阶段报错：

  ValueError: Failed to convert a NumPy array to a Tensor (Unsupported object type BatchDataset)

错误原因分析 #

1. np.append()不可用：BatchDataset是TensorFlow专属数据集对象，并非NumPy数组，无法直接用NumPy的append方法操作。
2. concatenate形状不兼容：
   • 两个数据集的特征/标签结构不一致（比如批次大小不同、标签形状不匹配）；
   • 模型输出层与标签的one-hot编码形状不匹配（比如文件夹有2类，模型输出层设为1维，但标签是2维的categorical格式）。

解决方案 #

1. 正确合并BatchDataset #

首先确保两个数据集结构完全一致，再使用concatenate：

import tensorflow as tf
from tensorflow.keras import preprocessing

# 生成原始数据集
data1 = preprocessing.image_dataset_from_directory("folder", label_mode="categorical", seed=0, image_size=(100,120))
data2 = preprocessing.image_dataset_from_directory("folder", label_mode="categorical", seed=0, image_size=(100,120))

# 先统一批次大小（如果原始批次不同）
data1 = data1.unbatch().batch(32)
data2 = data2.unbatch().batch(32)

# 合并数据集
combined_data = data1.concatenate(data2)

# 验证合并后的数据集结构
for x, y in combined_data.take(1):
    print("特征形状:", x.shape)
    print("标签形状:", y.shape)

2. 解决形状不兼容错误 #

如果合并后训练/测试仍报形状不匹配，检查以下两点：

• 确认模型输出层与标签匹配：如果文件夹下有N类，模型输出层需设为tf.keras.layers.Dense(N, activation='softmax')，确保输出形状与categorical标签的形状一致；
• 检查测试集标签格式：测试集的label_mode需和训练集保持一致（均设为"categorical"），避免出现标签形状不匹配。

3. 替代方案：直接生成并扩充数据集 #

如果目的是扩充训练数据，无需生成两个相同数据集再合并，可直接对单个数据集重复或添加增强：

# 生成单个数据集
dataset = preprocessing.image_dataset_from_directory("folder", label_mode="categorical", seed=0, image_size=(100,120))

# 重复数据集实现追加效果
combined_data = dataset.concatenate(dataset)

# 或添加数据增强
data_augmentation = tf.keras.Sequential([
    tf.keras.layers.RandomFlip("horizontal"),
    tf.keras.layers.RandomRotation(0.1),
])
augmented_dataset = dataset.map(lambda x, y: (data_augmentation(x, training=True), y))

内容的提问来源于stack exchange，提问作者xing