使用dataset.batch时出现输入与模型层不兼容的ValueError问题

问题原因 #

报错核心是数据维度不匹配：

• 你的模型输入层期望形状为 (None, 39, 39, 2)，其中None对应批量大小，单个样本形状为(39, 39, 2)。
• 启用ds.batch(BATCH_SIZE)后，数据集输出形状变为(32, 2, 39, 39, 2)，说明数据集里每个原始样本本身带有额外的2维度（比如将两个(39,39,2)张量打包成了一个样本元素），批量操作后该维度被叠加，与模型输入要求冲突。

解决方法 #

根据业务需求二选一即可：

方法1：调整数据集，移除多余维度 #

如果额外的2维度是样本打包导致的，在prepare函数的batch操作前添加代码展开维度：

# 将每个形状为(2,39,39,2)的元素拆分为两个(39,39,2)的独立样本
ds = ds.flat_map(lambda x: tf.data.Dataset.from_tensor_slices(x))

执行完该操作后再调用ds.batch(BATCH_SIZE)，批量后数据形状会变为(32, 39, 39, 2)，与模型输入匹配。

方法2：修改模型输入层，适配数据维度 #

如果额外的2维度是业务所需的特征维度（比如多通道时序数据），直接调整模型输入层定义：

# 将输入层shape从(39,39,2)修改为(2,39,39,2)
inputs = tf.keras.Input(shape=(2, 39, 39, 2))

修改后模型即可接受批量后(32, 2, 39, 39, 2)的输入数据。

内容的提问来源于stack exchange，提问作者George