TensorFlow中LSTM层隐藏权重维度相关问题咨询

你的疑惑本质是把Keras LSTM层的units参数含义、时间步传递逻辑理解错了，先把核心概念理清楚所有问题就通了： #

首先纠正你对LSTM层运行逻辑的错误认知 #

• Keras中LSTM(N)里的参数N（你示例里传的2）不是指层内有N个串联的独立处理单元，而是指这层LSTM的隐藏状态向量、单元状态向量的维度都是N。
• 整个LSTM层只有一套共享权重，会沿着序列的时间步循环调用同一套计算逻辑：每个时间步的输入是「当前时刻的输入特征」+「上一个时间步传递来的两个状态：长度为N的隐藏状态h、长度为N的单元状态c」，计算得到当前时刻的h和c，再传递给下一个时间步。不存在“第一个单元处理完整个序列再把状态传给下一个单元”的串联结构。

再拆解权重维度逻辑，解释你遇到的隐藏权重矛盾 #

LSTM每个时间步需要计算4个结构（遗忘门、输入门、候选单元状态、输出门），每个结构的计算都是对输入和上一时刻隐藏状态做线性变换后加偏置，因此整套权重分为3部分，对应你代码里get_weights()返回的三个数组：

1. 输入权重：对应当前时刻输入特征的线性变换，形状为(输入特征维度, 4*N)。你的示例里输入特征是4维，N=2，因此形状为(4,8)，参数量32，和你验证的结果一致。
2. 循环权重（即你说的隐藏权重）：对应上一时刻隐藏状态的线性变换，形状为(N, 4*N)。你的示例里形状为(2,8)，参数量16，这就是你疑惑的部分。
3. 偏置：形状为(4*N,)，你的示例里形状为(8,)，参数量8，和你验证的结果一致。

你之前误以为“每个单元对应4个隐藏权重”，是错把N维隐藏状态的每个维度当成了独立的串联单元。实际上每个时间步做门计算时，当前N维隐藏状态的每一个维度，都需要接收上一时刻整个N维隐藏状态的所有值作为输入（本质是全连接计算），因此循环权重的参数量是N * 4 * N，而不是你以为的4*N。 #

最后澄清单元状态的权重疑问 #

你提到“找不到单元状态对应的权重项”，原因很简单：单元状态c的更新用的是逐元素的哈达玛积运算，不是矩阵乘法的线性变换，因此不需要单独配置权重矩阵。
你之前认为“隐藏状态不会在时间步间传递，只有单元状态传递”也是错误的：沿时间步传递的是h和c两个状态，门的计算只依赖上一时刻的h，c只通过逐元素运算完成记忆的保留和更新，不需要额外权重。 #

最后做个参数量验算：32（输入权重）+16（循环权重）+8（偏置）=56，和你模型摘要里LSTM层的总参数量完全吻合。

内容的提问来源于stack exchange，提问作者ScubaNinjaDog