TensorFlow 1.15迁移PyTorch时LSTM输出不一致、模型不收敛问题咨询

当前相同输入下LSTM前向传播输出的显著差异，是PyTorch模型无法收敛的核心原因。LSTM作为视频特征编码的核心组件，输出的系统性偏差会沿着网络逐层放大，最终导致损失值完全偏离参考基准，训练过程无法收敛。

• 输入维度布局完全不匹配
  TensorFlow侧dynamic_rnn默认输入格式为[batch_size, time_steps, feature_dim]，PyTorch原生nn.LSTM默认输入格式为[time_steps, batch_size, feature_dim]。直接将TensorFlow格式的张量传入PyTorch LSTM，会混淆批次维度和时间步维度，输出结果从根上就是错误的。
• Dropout生效范围不匹配
  TensorFlow侧通过DropoutWrapper在单层LSTM上同时对输入特征、循环输出施加dropout；但PyTorch原生nn.LSTM的dropout参数仅在多层堆叠LSTM的相邻层之间生效，单层LSTM场景下无论该参数设为多少，都不会触发任何dropout逻辑，训练阶段的正则化分布和TensorFlow侧存在系统性偏差。
• 权重初始化逻辑存在严重bug
  现有初始化函数存在非常明显的逻辑错误：循环遍历LSTM参数时，不管当前遍历到哪个参数对象，都固定对weight_ih_l0、weight_hh_l0重复执行正交初始化，既没有给维度完全不同的偏置项做匹配的初始化，也因为重复初始化导致权重分布根本无法对齐TensorFlow侧的初始化结果。
  同时两边LSTM的内部计算逻辑存在天然差异：TensorFlow 1.x的LSTM会将输入权重、循环权重拼接为整体矩阵参与运算，而PyTorch将两类权重拆分独立计算，矩阵乘法的转置方向、权重存储形式不匹配，进一步放大了输出偏差。
• 输出维度布局未对齐
  PyTorch LSTM输出的默认格式为[time_steps, batch_size, hidden_dim]，没有按照TensorFlow侧的输出格式[batch_size, time_steps, hidden_dim]做维度转置，会导致后续全连接层、损失计算环节的输入维度错位。

• 先关闭所有dropout（将rnn_drop设为0），在无随机噪声的纯推理条件下逐环节对齐输出
• 调整输入维度格式：对形状为[B, T, D]的原视频特征执行permute(1, 0, 2)操作，转换为PyTorch LSTM要求的[T, B, D]格式再传入层
• 重写权重初始化逻辑：分别为weight_ih_l0、weight_hh_l0执行对应维度的正交初始化，匹配TensorFlow侧的正交初始化分布，补全偏置项的初始化逻辑，保证和TensorFlow侧的偏置分布一致
• LSTM输出后执行维度转置，转换回[B, T, D]的布局，对齐后续网络层的输入要求
• 逐时间步、逐特征维度对比两侧LSTM输出，当差值稳定在1e-5量级以内，再重新开启dropout和全流程训练

内容的提问来源于stack exchange，提问作者Pruthvi Patel