基于GloVe的IMDB情感分类LSTM模型准确率卡在0.5损失0.7求助

1. 词表容量设置过小 #

• 你设置MAX_WORDS = 512，Tokenizer仅保留训练集中频率最高的512个词，其余词汇全部被丢弃。IMDB评论中大量承载情感语义的中低频词被过滤，输入序列几乎丢失了所有有效语义信息，模型无法学到区分正负样本的特征。
• 修复方案：将MAX_WORDS调整为10000~20000，覆盖绝大多数常用情感词汇。

2. 学习率设置过高 #

• 你使用Adam优化器时设置学习率为0.01，远高于NLP任务常用的1e-3~1e-4水平，过高的学习率导致梯度震荡，参数无法收敛到最优区间，损失始终徘徊在随机猜测对应的0.693附近，准确率维持在随机二分类的0.5水平。
• 修复方案：将学习率调整为1e-3，训练后期可进一步降低到1e-4微调。

3. 全连接层缺失非线性激活 #

• 你在LSTM层后添加的Dense(64)没有设置激活函数，多层线性变换的拟合能力等价于单层线性层，大幅削弱了模型的特征提取能力。
• 修复方案：给Dense层添加relu激活，修改为Dense(64, activation='relu')。

4. Padding设置不合理 #

• 你使用padding='post'在序列尾部补0，LSTM处理长序列时会优先遗忘尾部信息，导致大量有效上文信息被尾部的无效padding值覆盖，模型无法提取完整语义。
• 修复方案：将padding方式改为padding='pre'，或在Embedding层后添加Masking(mask_value=0)层自动忽略padding位的计算。

5. 嵌入层未允许微调（可选优化） #

• 你设置Embedding层trainable=False，固定了预训练的GloVe向量，无法适配IMDB场景下的语义特征。
• 修复方案：算力充足的情况下将trainable改为True，允许嵌入层在训练中微调，进一步提升效果。

额外检查项：确认代码中是否漏写word_index = tokenizador.word_index，如果未获取Tokenizer生成的词表索引，会直接导致嵌入矩阵构建错误。

内容的提问来源于stack exchange，提问作者EnriqueFdez03