TensorFlow神经网络训练：如何确保输出的确定性？

1. 除SGD外引入随机性的因素 #

• 模型权重的随机初始化：Keras中Dense层默认使用glorot_uniform初始化器，每次运行代码都会生成不同的初始权重参数，这是导致输出不一致的核心原因之一。
• 训练数据默认打乱：model.fit方法默认设置shuffle=True，即使你将batch_size设为训练集大小，每次epoch前数据仍会被打乱；不过由于是全量数据训练，这个因素对最终权重的影响远小于初始权重的随机性，但仍可能带来细微差异。
• 硬件层面的浮点数运算差异：如果使用GPU训练，并行计算中的浮点数精度可能存在微小的不确定性，不过这个影响通常可以忽略。

2. 修改代码确保输出一致 #

要让模型对相同输入输出固定结果，需要固定所有随机源，修改后的代码如下：

import tensorflow as tf
from tensorflow import keras

# 固定全局随机种子，覆盖TensorFlow、NumPy的随机生成逻辑
tf.random.set_seed(42)
import numpy as np
np.random.seed(42)

# 构建模型时，给权重初始化器指定固定种子，确保初始权重完全一致
model = keras.Sequential([
    keras.layers.Dense(1, kernel_initializer=keras.initializers.GlorotUniform(seed=42),
                       bias_initializer=keras.initializers.Zeros())
])

model.compile(loss="MSE", metrics=[keras.metrics.BinaryAccuracy()])
model.fit(
    training_inputs,
    training_targets,
    epochs=5,
    batch_size=1000,
    validation_data=(val_inputs, val_targets),
    shuffle=False  # 关闭数据打乱，避免epoch间数据顺序变化带来的细微影响
)

关键修改点说明： #

• 设置tf.random.set_seed和np.random.seed：固定TensorFlow和NumPy的全局随机种子，确保所有依赖随机数的操作（如初始化、潜在的随机运算）可复现。
• 给Dense层的初始化器指定seed：明确固定权重的初始值，避免默认随机初始化带来的差异。
• 设置shuffle=False：关闭训练时的数据打乱，确保每个epoch的输入数据顺序完全一致。

内容的提问来源于stack exchange，提问作者hasanghaforian