关于tf.random.seed对DNN优化影响的技术咨询

首先，你的部分判断是准确的，咱们来逐一拆解问题：

哪些操作会被当前代码中的tf.random.set_seed(seed)固定随机性？ #

• 网络参数初始化：这是最直接的影响。你的Dense层使用的kernel_initializer（如果是随机类型，比如glorot_uniform、he_normal这类默认的随机初始化器），其权重和偏置的初始化值会被seed固定。另外，BatchNormalization层的初始移动均值、移动方差也会被这个seed固定（不过这些值会在训练过程中更新，只是初始状态一致）。
• 你当前的代码里没有其他TensorFlow原生的随机操作（比如dropout、随机数据增强等），所以暂时没有其他被直接影响的操作。但如果后续扩展代码加入这类逻辑，它们的随机行为都会被这个seed约束。

哪些操作不受这个seed影响？ #

• 你提到的经验池随机选取minibatch：如果这部分逻辑是用numpy.random或者Python标准库的random模块实现的，那确实和TensorFlow的seed无关——这两个模块的随机状态是独立的。要固定这部分的随机性，需要单独调用np.random.seed()或者random.seed()来设置对应的seed。

不同seed是否仅会改变权重初始化？ #

• 不完全是。权重初始化的差异是基础，但它会间接影响整个训练流程：
  • 深度学习的优化是非凸的，初始权重的微小差异会导致训练初期的梯度更新方向不同。随着训练迭代，这种差异可能会被放大，最终导致模型收敛到不同的局部最优解，甚至影响模型的最终性能。
  • 如果后续代码加入了TensorFlow的随机操作（比如dropout、随机采样等），不同seed会直接改变这些操作的随机行为，进一步影响训练轨迹和结果。

另外补充一点：tf.random.set_seed的作用范围是当前的TensorFlow执行上下文（TF2.x的eager模式下）。如果你的训练是多线程/多进程模式，可能需要给每个线程分配不同的子seed，避免出现重复的随机序列，保障复现性的同时也避免训练过程中的随机性退化。

内容的提问来源于stack exchange，提问作者AleB