PyTorch中LSTM的hidden_size参数含义及设置方法问询

先明确核心区别 #

hidden_size绝对不是LSTM展开的时间步数。时间步数指的是你输入的序列长度（比如一句话包含10个词，时间步就是10），它和hidden_size是完全独立的两个参数，彼此没有直接关联。

hidden_size到底是什么？ #

它就是单个LSTM单元输出的隐藏状态（h_t）和细胞状态（c_t）的特征维度，你完全可以把它理解成和全连接层神经元数量类似的超参数：

• 每个时间步里，LSTM会结合当前输入X_t、上一步的隐藏状态h_{t-1}和细胞状态c_{t-1}，计算出当前的h_t和c_t，这两个向量的维度就是hidden_size。
• 对应你提到的LSTM单元示意图，单元内部的输入门、遗忘门、输出门、候选细胞状态这些模块的计算，最终都会收敛到维度为hidden_size的h_t和c_t上——这个维度直接决定了LSTM能捕捉到的序列特征的丰富程度。

怎么设置hidden_size？ #

• 按任务复杂度选初始值：简单任务（比如短文本分类、简单时序预测）可以设64、128；复杂任务（比如机器翻译、长序列建模）可以尝试256、512，注意太大的hidden_size会增加计算成本，还容易导致过拟合。
• 参考同领域论文：找同类型任务的已发表论文，参考它们用的hidden_size范围，以此作为起点再微调。
• 结合输入特征维度：如果你的input_size（比如词向量维度）很大，hidden_size可以适当调大，保证模型有足够能力处理输入信息；如果input_size较小，hidden_size也不用设得过高。
• 根据训练状态调整：如果模型欠拟合（训练、验证效果都差），可以尝试增大hidden_size；如果过拟合（训练效果好、验证效果差），则考虑缩小hidden_size，或者搭配dropout等正则化手段。

内容的提问来源于stack exchange，提问作者Flyte