数据集扩容后TensorFlow模型预测结果变化的原因探究

以下是核心因素，解释同结构模型在不同规模数据集训练后预测结果不同的现象：

• 模型初始化的随机性
  TensorFlow中Dense层的权重和偏置默认采用随机初始化策略（如GlorotUniform）。两次训练即使模型结构完全一致，初始权重参数也会存在差异，后续训练迭代会基于这些不同初始值收敛到不同的局部最优解，最终导致对同一输入的预测结果出现细微差别。

• 数据集的分布与信息量差异
  小规模数据集往往只能反映数据分布的局部特征，甚至可能存在样本偏差；扩大后的数据集包含更多样的样本，能更全面地还原真实的数据分布。模型在大数据集上学习到的是更具泛化性的全局模式，和小数据集上学到的局部模式存在差异，自然会在相同输入上给出不同的预测值。

• 训练过程的随机性影响
  如果训练时使用小批量梯度下降（mini-batch SGD），两次训练的样本打乱顺序、批次划分都会存在随机性，这会直接影响权重更新的路径。即使是相同的数据集，不同的批次处理顺序也可能让模型收敛到略有不同的权重状态，更不用说数据集规模不同的情况了。

• 过拟合与泛化能力的差异
  小数据集训练的模型更容易出现过拟合，会过度拟合小样本中的噪声或特殊模式；而大数据集能有效抑制过拟合，模型会更偏向学习通用规律。这种泛化能力的差异，会让两个模型对同一输入的预测产生细微的数值差距。

内容的提问来源于stack exchange，提问作者Josue Oliva