Keras未修改参数重复训练时模型性能波动问题咨询

相同代码、相同参数下多次训练模型性能存在差异是神经网络训练的正常现象，核心原因是训练全流程存在多个未固定的随机源，和是否修改模型结构、超参数没有直接关系，具体随机来源包括：

• 权重随机初始化：代码中使用的GlorotNormal初始化器本身是按概率分布随机生成初始权重的，未固定随机种子时每次运行生成的初始权重完全不同，梯度下降会从不同起点收敛到不同的局部最优解，最终性能自然存在差异。
• 框架计算的非确定性：当使用GPU训练时，CUDA、cuDNN的算子默认会启用并行优化计算，浮点数累加顺序不固定，微小的浮点误差会在多层、多轮迭代中累积，最终导致训练结果出现偏差。
• 流程隐式随机性：包括Python内置随机模块、NumPy随机模块、TensorFlow全局随机状态未固定时，所有涉及随机采样的操作都会产生不同结果；部分版本的Keras数据生成器默认参数存在差异，可能自动开启批次打乱，改变训练数据的输入顺序。

不需要修改模型结构和超参数，只要固定所有随机源、强制确定性计算即可保证每次训练结果完全一致，操作步骤如下：

1. 在所有导入、数据处理、模型构建代码之前，固定全链路随机种子，代码如下：

import os
import random
import numpy as np
import tensorflow as tf

# 统一设置随机种子值，可替换为任意整数
SEED = 42

# 固定Python哈希种子
os.environ['PYTHONHASHSEED'] = str(SEED)
# 固定Python内置随机模块种子
random.seed(SEED)
# 固定NumPy随机种子
np.random.seed(SEED)
# 固定TensorFlow全局随机种子
tf.random.set_seed(SEED)

2. 强制TensorFlow启用确定性计算，关闭GPU并行带来的非确定性误差：

# 强制cuDNN、CUDA算子使用确定性实现
os.environ['TF_DETERMINISTIC_OPS'] = '1'
os.environ['TF_CUDNN_DETERMINISTIC'] = '1'
# 限制TensorFlow线程数为1，避免多线程并行计算带来的浮点累加顺序差异
tf.config.threading.set_inter_op_parallelism_threads(1)
tf.config.threading.set_intra_op_parallelism_threads(1)

注意：开启确定性计算后会关闭部分GPU并行优化，训练速度会有一定幅度下降。

3. 显式关闭数据生成器的shuffle逻辑，避免版本差异导致的默认参数不一致，将生成器定义修改为：

generator = TimeseriesGenerator(scaled_train, scaled_train, length=n_input, batch_size=12, shuffle=False)

4. 如果后续在模型中加入Dropout、数据增强等带随机逻辑的操作，记得在对应接口中显式传入seed=SEED参数固定随机状态。

补充说明：神经网络训练的随机性本身不是缺陷，固定随机种子得到可复现结果仅用于调试、对比实验，实际生产训练时通常不会刻意限制随机性，合理的随机扰动反而可能帮助模型收敛到泛化性更好的最优点。

内容的提问来源于stack exchange，提问作者user172500