LSTM模型验证精度与训练精度不符：葡语恐同推特分类问题排查

我正在构建LSTM模型，用于巴西葡萄牙语（PT-BR）恐同推特的二分类任务，数据集包含5000条平衡分布的恐同/非恐同推特，但测试三个不同模型后，均出现训练精度/损失与验证精度/损失趋势严重不符的情况，需排查是操作失误还是数据集文本不规范导致。

模型相关参数与代码 #

基础参数

dim = 300
epochs = 100
lstm = 150
window = 7

Word2Vec配置

w2v_model = gensim.models.word2vec.Word2Vec(vector_size=dim, 
                                            window=window, 
                                            min_count=10, 
                                            workers=8)

LSTM模型结构

model = Sequential()
model.add(embedding_layer)
model.add(Dropout(0.5))
model.add(LSTM(lstm, dropout=0.2, recurrent_dropout=0.2))
model.add(Dense(1, activation='sigmoid'))
model.summary()
model.compile(loss='binary_crossentropy',
              optimizer="adam",
              metrics=['accuracy'])

训练代码

model_history=model.fit(X_train, y_train,epochs=epochs,validation_split=0.1,verbose=1)

训练结果

• 精度曲线：训练精度随训练轮次持续上升，验证精度始终在低区间波动，未同步提升
• 损失曲线：训练损失随训练轮次持续下降，验证损失维持在较高水平波动，无下降趋势

操作失误排查点 #

1. 验证集划分逻辑问题
   • validation_split=0.1默认从训练集末尾截取10%作为验证集，若数据集未提前随机打乱，可能导致验证集与训练集分布差异极大（比如末尾样本全为某一类或特定时段内容）。需确认训练前是否对X_train, y_train执行了随机洗牌操作。
2. Word2Vec训练与适配问题
   • min_count=10过滤了低频词，但推特文本存在大量PT-BR专属俚语、拼写错误、缩写，这类低频词会被当作OOV（未登录词）处理，若embedding层未合理处理OOV（比如未初始化OOV向量），会导致模型学习偏差。
   • 需确认Word2Vec是基于**全量数据集（训练+验证）**训练，还是仅用训练集？若仅用训练集训练，验证集的OOV比例会显著更高，直接影响验证结果稳定性。
3. 模型训练策略问题
   • 100 epochs可能过长，结合150单元的LSTM容量，模型易在训练后期过拟合训练集，但验证集因分布问题无法跟进。建议尝试减少epochs至20-30，或加入早停机制（EarlyStopping(monitor='val_loss', patience=5)）。
   • Dropout组合可能不合理：输入层0.5的Dropout+LSTM内部0.2的dropout/recurrent_dropout，可能导致模型欠拟合，无法捕捉有效特征；也可能是recurrent_dropout引入了训练不稳定，可尝试移除recurrent_dropout，仅保留输入层Dropout。
4. 文本预处理疏漏
   • PT-BR推特需针对性预处理：必须移除@用户名、#话题、链接、表情符号；处理重音字符（可选择保留或标准化，需保证与Word2Vec训练一致）；分词需使用PT-BR专用工具（如spaCy的葡萄牙语模型、NLTK的PT分词器），通用分词会导致分词错误，破坏embedding的语义连续性。

数据集文本不规范排查点 #

1. 标签噪声问题
   • 平衡数据集可能存在标注错误：非恐同推文被误标为恐同，或反之。随机抽取50-100条样本人工校验，若错误率超过10%，标签噪声会导致模型训练时学习错误特征，验证时无法泛化。
2. 训练/验证集分布不一致
   • 检查两者的文本特征差异：比如训练集多为正式表述，验证集全是网络俚语；或存在地域、时间差异（如训练集是2022年数据，验证集是2023年新俚语）。可统计两者的词频分布、平均句长、OOV比例，判断是否存在显著分布差异。
3. 样本歧义性问题
   • 恐同文本存在语境依赖：反讽、引用他人言论的推文容易被误标注。这类歧义样本会让模型学到混淆特征，导致训练与验证趋势背离。可排查这类歧义样本在数据集中的占比。

内容的提问来源于stack exchange，提问作者Caio