PyTorch中LSTM的hidden_size与proj_size区别及输出配置建议

核心区别 #

• hidden_size：这是LSTM单元内部隐状态的维度，直接决定了模型对序列特征的捕捉容量。默认情况下，LSTM输出的序列隐状态（output）维度就是hidden_size，每个时间步的隐状态h_t也保持这个维度。
• proj_size：这是可选的投影参数，作用是给LSTM的隐状态h_t添加一层线性映射，将维度压缩到proj_size。设置该参数后，LSTM的output维度会变为proj_size，但内部的隐状态仍保持hidden_size维度——相当于用高维隐状态学习更丰富的特征，再通过投影层得到你需要的小维度输出。

针对你需求的选型建议 #

你的输入是维度5、序列长度30的数据，想要两个序列长度30、维度2的输出，更推荐用proj_size=2配合更大的hidden_size（比如16、32这类常用值），理由如下：

1. 更大的hidden_size能让LSTM内部捕捉到更丰富的序列特征，避免因维度太小导致模型拟合能力不足；
2. proj_size=2可以把高维隐状态压缩到你需要的输出维度，后续还能灵活调整hidden_size来调优模型性能。

如果直接把hidden_size设为2，LSTM的特征容量会非常有限，很难充分学习输入序列里的复杂模式，模型效果大概率会打折扣。

另外，关于“两个输出”的实现：你可以用一个LSTM设置hidden_size为4（或proj_size=4），然后把输出在最后一维拆分成两个2维的张量；或者直接用两个独立的LSTM分别生成输出，前者更高效，能共享输入的特征学习过程。

内容的提问来源于stack exchange，提问作者Ahijit