多标签文本分类任务中LSTM模型性能不佳的原因及优化方法咨询

多标签文本分类场景下，你可以优先排查以下核心配置是否出错：

• 输出层激活函数：必须使用Sigmoid，如果错误使用了Softmax会直接导致输出不符合多标签独立预测的要求，属于根本性错误
• 损失函数：必须使用BinaryCrossentropy（二元交叉熵），如果误用了CategoricalCrossentropy（多分类交叉熵）会完全不符合多标签的优化目标
• 张量维度匹配：
  • 标签矩阵必须是形状为(样本数, 标签类别数)的0/1浮点矩阵，不能是整数形式的单标签索引
  • 单层LSTM不需要设置return_sequences=True，只有堆叠多层LSTM时，前几层才需要开启该参数保证输出维度匹配下一层LSTM的输入要求
• GloVe嵌入配置：需要确认词表索引和GloVe向量的映射完全对应，没有出现词索引错位的问题

数据层面（6000条小样本场景优先优化） #

• 做文本数据增强：可采用同义词替换、随机删除非关键词、回译等方式扩充训练样本量，降低小样本带来的过拟合风险
• 替换静态词嵌入：优先选用轻量预训练语言模型（如DistilBERT、ERNIE-Tiny）做特征提取，预训练模型自带的通用语义特征比GloVe静态向量在小样本场景下的表现好30%以上

模型结构层面 #

• LSTM结构控制：1~2层LSTM足够，隐藏层节点数设置为128或256即可，过深/过宽的结构在小样本下极易过拟合
• 加正则化策略：LSTM层添加0.2_{0.3的`RecurrentDropout`，全连接层前添加0.3}0.5的普通Dropout，全连接层和LSTM层都可以添加权重为1e-4的L2正则
• 输出层前加过渡层：LSTM输出后先接一层64/128维的全连接层+ReLU激活+Dropout，再接最终的Sigmoid输出层

训练策略层面 #

• 优化器选择：用AdamW优化器，学习率设置为1e-4~2e-5，添加1e-4的权重衰减，比普通Adam的泛化性更好
• 损失优化：如果标签分布不均衡，可替换普通二元交叉熵为Focal Loss，降低高占比标签的优化权重，提升少样本标签的识别效果
• 早停机制：设置EarlyStopping回调，监控验证集损失，patience设为3~5，防止训练过拟合

评估指标修正 #

多标签场景下Keras自带的accuracy指标完全不适用，该指标要求一个样本的所有标签都预测正确才算对，你看到的0.54准确率不代表真实效果，建议换用Hamming Loss、macro-F1、micro-F1、平均AUC作为评估指标，更能反映模型的真实表现

内容的提问来源于stack exchange，提问作者don brains