TensorFlow中global_variables_initializer()初始化对象与范围及RNN相关疑问

嘿，我来帮你把这两个TensorFlow初始化的问题讲清楚～

global_variables_initializer() 是TensorFlow里用来批量初始化所有全局变量的操作，这里的全局变量指的是通过 tf.Variable() 创建、默认加入 tf.GraphKeys.GLOBAL_VARIABLES 集合的张量。具体包含这些类型：

• 模型的可训练参数：比如神经网络各层的权重（W）、偏置（b），包括RNN/LSTM单元里输入门、遗忘门、输出门的权重和偏置，还有细胞状态变换相关的权重等。这些是模型训练时会更新的核心参数。
• 非可训练的全局变量：比如跟踪训练步数的 global_step 变量，或者用于指数移动平均的影子变量这类辅助性全局变量。

这里要纠正一个小误区：激活函数不需要初始化！它只是计算过程中的非线性变换逻辑，没有对应的可存储参数，自然不需要初始化。

先明确两者的定位完全不同：

• cell.zero_state() 只是生成一个全零的初始状态张量，用来作为RNN迭代的初始隐藏状态和细胞状态。这个张量是运行时的临时输入，不属于模型的可训练参数，所以它不需要被“初始化”，只是在运行RNN前定义好初始状态而已。
• 而 global_variables_initializer() 针对的是模型的可训练参数本身：RNN单元内部的权重、偏置都是通过 tf.Variable 创建的全局变量，这些参数在训练/运行前必须被赋予初始值，否则TensorFlow不知道该用什么值进行计算，会直接报错。

global_variables_initializer() 的作用范围是整个计算图内的所有全局变量——不管是RNN的参数，还是你模型里其他层（比如全连接层、卷积层）的参数，只要是标记为全局变量的张量，都会被它初始化。

再总结下：你需要初始化的是模型的权重、偏置这类可训练参数，以及其他全局辅助变量；激活函数不属于参数范畴，完全不需要初始化。

内容的提问来源于stack exchange，提问作者林彥良