使用tf.data.Dataset与numpy数组训练CNN回归模型结果差异异常

核心问题是两种数据输入方式下模型训练结果差异极大：tf.data.Dataset方式出现异常低的MAE（训练/验证集均为10⁻³），而直接输入numpy数组的结果符合预期。以下是关键排查点和解决方向：

1. 验证Dataset中数据与numpy数组的一致性 #

Dataset方式的异常拟合首先要确认数据加载是否正确：

• 抽取Dataset中的批次样本，对比numpy数组的对应数据，检查特征与标签是否配对正确：

  # 从训练集取一个批次
  x_ds, y_ds = next(iter(train_dataset))
  # 定位该批次第一个样本在numpy数组中的索引
  sample_idx = np.where((features == x_ds[0].numpy()).all(axis=(1,2)))[0][0]
  # 对比标签与特征
  print("Numpy标签:", labels[sample_idx])
  print("Dataset标签:", y_ds[0].numpy())
  print("特征匹配:", np.array_equal(features[sample_idx], x_ds[0].numpy()))
  

• 检查数据类型是否一致：

  print("Numpy特征类型:", features.dtype)
  print("Dataset特征类型:", x_ds.dtype)
  print("Numpy标签类型:", labels.dtype)
  print("Dataset标签类型:", y_ds.dtype)
  

  若类型不一致（比如numpy为float64，Dataset自动转为float32），可统一转换为float32消除差异：

  features = features.astype(np.float32)
  labels = labels.astype(np.float32)
  

2. 确认模型初始状态的一致性 #

即使设置了全局种子，仍需验证两种方式下模型初始权重完全一致：

• 在model.compile()之后、model.fit()之前，打印模型第一层权重的部分值：

  print("初始权重片段:", model.get_weights()[0][:2, :2])
  

  若两种方式输出不同，说明load_model()可能存在随机性，可改为手动构建模型，或确保加载的模型权重完全固定。

3. 消除model.fit()的参数冲突 #

当输入为tf.data.Dataset时，batch_size参数会被忽略（Dataset已完成批次划分），冗余参数可能引发潜在问题，建议删除：

# 修改Dataset方式的fit调用
model.fit(train_dataset, validation_data=val_dataset, epochs=1000)

4. 验证训练集与验证集的无重叠性 #

尽管你已确认批次数量，仍可通过以下代码验证样本无重叠：

# 提取训练集所有样本的索引
train_samples = np.concatenate([x.numpy() for x, y in train_dataset], axis=0)
train_indices = [np.where((features == s).all(axis=(1,2)))[0][0] for s in train_samples]
# 提取验证集所有样本的索引
val_samples = np.concatenate([x.numpy() for x, y in val_dataset], axis=0)
val_indices = [np.where((features == s).all(axis=(1,2)))[0][0] for s in val_samples]
# 检查交集
print("训练/验证集重叠样本:", set(train_indices) & set(val_indices))

若输出非空，说明存在样本重叠，需重新调整Dataset的划分逻辑。

5. 对比两种方式的初始损失 #

训练开始前，计算模型在相同样本上的初始损失，确认输入数据和模型状态一致：

# Dataset方式
x_ds_batch, y_ds_batch = next(iter(train_dataset))
ds_initial_loss, ds_initial_mae = model.evaluate(x_ds_batch, y_ds_batch, verbose=0)
print("Dataset初始损失:", ds_initial_loss, "MAE:", ds_initial_mae)

# numpy方式（取相同数量的样本）
np_initial_loss, np_initial_mae = model.evaluate(features[:8], labels[:8], verbose=0)
print("Numpy初始损失:", np_initial_loss, "MAE:", np_initial_mae)

若初始损失差异显著，说明数据或模型状态存在不一致，需回溯排查。

6. 对齐两种方式的数据集划分逻辑 #

tf.data.Dataset当前的划分逻辑是先shuffle再拆分，而numpy方式是先拆分再shuffle训练集。若要完全对齐逻辑，可修改Dataset的构建方式：

# 先按比例拆分数据集，再分别处理
train_size = int(0.8 * len(features))
train_dataset = tf.data.Dataset.from_tensor_slices((features[:train_size], labels[:train_size]))
train_dataset = train_dataset.shuffle(buffer_size=train_size).batch(8)
val_dataset = tf.data.Dataset.from_tensor_slices((features[train_size:], labels[train_size:]))
val_dataset = val_dataset.batch(8)

这种方式与numpy的validation_split=0.2逻辑一致，可验证结果是否对齐。

内容的提问来源于stack exchange，提问作者Haoyu Yang