PyTorch LSTM训练报hx/cx维度不匹配RuntimeError求助

报错根因 #

抛出该运行时错误的核心原因是传入LSTM的输入张量维度和手动初始化的隐状态维度不匹配：
nn.LSTM会自动识别输入维度结构：

• 当输入是3维且设置batch_first=True时，维度规则为[batch_size, seq_len, input_size]，对应要求隐状态h0/细胞状态c0为3维，形状是[num_layers, batch_size, hidden_dim]
• 当输入是2维时，LSTM会判定为无batch维度的单序列输入，维度规则为[seq_len, input_size]，对应要求隐状态为2维，形状是[num_layers, hidden_dim]

你代码中固定初始化3维的隐状态，但实际传入forward的x在运行时被压缩成了2维（常见原因是DataLoader采样逻辑错误、数据集构造时seq_len维度丢失、没有按时序任务要求做滑窗切分导致序列维度为1被意外squeeze），就会触发该维度不匹配报错。

解决方案 #

按以下步骤逐一排查修正即可：

• 先做输入维度校验：在forward函数执行LSTM前添加维度断言，运行后即可快速定位是上游数据加载环节丢失了维度，还是模型前向逻辑的问题。如果需要兼容偶发的2维输入，可在LSTM前补全维度：

  # 维度校验
  assert x.dim() in (2,3), f"Expect 2D/3D input, got shape {x.shape}"
  # 为2维输入补seq_len维度，保证输入始终符合3维要求
  if x.dim() == 2:
      x = x.unsqueeze(dim=1)
  

• 修正隐状态初始化逻辑：旧代码中使用Variable是PyTorch 0.4版本之前的废弃写法，当前版本无需手动调用Variable，且隐状态不需要手动设置requires_grad_。如果没有特殊的隐状态初始化需求，甚至可以不用手动传入(h0,c0)，LSTM会自动生成和输入同设备、维度匹配的全零初始隐状态。如果需要手动初始化，要根据输入动态生成，不要硬编码维度：

  def forward(self, x):
      # 维度校验与补全
      if x.dim() == 2:
          x = x.unsqueeze(1)
      batch_size = x.size(0)
      # 动态生成和输入同设备的初始隐状态、细胞状态
      h_0 = torch.zeros(self.num_layers_LSTM, batch_size, self.hidden_dim_LSTM, device=x.device)
      c_0 = torch.zeros(self.num_layers_LSTM, batch_size, self.hidden_dim_LSTM, device=x.device)
      output, (hn, cn) = self.lstm(x, (h_0, c_0))
      # 取最后一层LSTM的隐状态输入全连接层，替换容易出错的view逻辑
      out = F.relu(hn[-1])
      out = self.fc1(out) 
      out = self.drop(out)
      out = torch.relu(out) 
      out = self.fc2(out) 
      return out
  

全量数据一次性输入的合理性说明 #

你当前的使用方式存在两个明显问题：

• 输入的序列长度（seq_len）为1，LSTM无法学习到时序依赖关系，本质和普通全连接网络效果一致，完全浪费了LSTM的序列建模能力。做时序任务时需要先通过滑窗构造样本：比如用前t个时间步的6维特征预测下1个时间步的标签，构造完成后输入形状为[样本总数, 滑窗长度t, 6]，此时seq_len维度为滑窗长度，才能让LSTM发挥作用。
• 近30万条样本一次性全量输入（全批量梯度下降）不合理：一方面显存占用会随序列长度线性增长，很容易触发显存不足错误；另一方面全批量梯度下降收敛稳定性差，容易陷入局部最优。常规训练需要用DataLoader将数据集切分为小批量（mini-batch），batch_size可根据显存大小设置为32/64/128/256。

内容的提问来源于stack exchange，提问作者zzzw3838