使用tf.data.Dataset与NumPy数组训练Keras模型结果不同的原因探究

这不是Bug，而是Keras针对不同输入类型设计的默认行为差异导致的，核心原因在于数据打乱的处理逻辑不同，具体细节和验证方案如下：

1. 两种输入方式的默认shuffle行为差异 #

• 当你把NumPy数组（x_train/y_train）传入model.fit()时，shuffle参数的默认值是True（训练阶段）。这意味着每个epoch开始前，Keras会自动打乱整个数据集的顺序，再按指定的batch_size拆分批次。
• 当你传入tf.data.Dataset时，除非你显式调用.shuffle()方法，否则数据集会严格保持原始顺序，每个epoch都按相同的顺序处理批次。

你的代码里恰好没有给tf.data.Dataset添加打乱操作，而NumPy数组输入默认开启了打乱，这就导致两种方式下每个epoch的批次顺序完全不同。

2. 为什么批次顺序会影响训练结果？ #

Adam这类优化器是基于小批量梯度的迭代更新，每一步的参数更新都依赖于当前批次的梯度和之前的参数状态。不同的批次顺序会让模型的梯度更新路径产生差异，最终收敛到略有不同的参数值，反映在损失上就是你看到的细微差别。

3. 为什么全量batch时结果一致？ #

当batch_size等于总样本数时，不管有没有打乱数据，每个epoch都只会生成一个批次（包含所有样本）。此时批次顺序不再影响训练——两种方式下都是用整个数据集计算一次梯度并更新参数，因此最终的模型参数和性能完全一致。

验证：让两种训练方式结果一致 #

你可以通过统一两者的shuffle行为来验证这个结论：

方案一：给tf.data.Dataset添加打乱 #

修改数据集创建代码，添加.shuffle()（buffer_size设为样本总数即可）：

dataset = tf.data.Dataset.from_tensor_slices((x_train, y_train)).shuffle(buffer_size=n_examples)

方案二：关闭NumPy数组输入的shuffle #

在调用model.fit()时显式设置shuffle=False：

model.fit(
    x=x_train, y=y_train,
    batch_size=batch_size,
    epochs=n_epochs,
    shuffle=False
)

修改后再运行代码，两种训练方式的最终损失就会完全一致了。

总结 #

这是Keras的设计特性：针对数组输入默认开启打乱（提升模型泛化性的常用做法），而tf.data.Dataset则把数据处理的控制权完全交给用户，由用户决定是否添加打乱、缓存等操作。

内容的提问来源于stack exchange，提问作者rkschrw