PyTorch下BERT多分类情感分类准确率极低问题求助
基于BERT的GoEmotions多分类情感分类模型训练停滞:准确率0.4无提升、损失不下降
我在PyTorch框架下,使用GoEmotions数据集训练BERT架构实现多分类情感分类,但遇到了棘手的训练停滞问题:训练集与验证集的平均准确率始终维持在0.4左右,训练轮次中完全没有提升趋势,同时损失值也全程没有下降。
对比教程中的模型,人家从第一个训练轮次开始就能达到85%的准确率,我完全搞不懂自己的模型为何表现如此糟糕。
我已经尝试了多种调试方法,但均无成效:
- 修改模型架构,添加额外的Linear层
- 将独热编码标签替换为序列化标签(如1, 0, 2, 0...)
- 调整学习率、批量大小、分词器最大长度等超参数
- 确认损失函数选择正确,且梯度更新前已完成清零操作
- 检查并确保数据集类别均衡
- 更换其他数据集排查是否为数据本身的问题
- 其他多种针对性尝试
这个问题已经困扰我一周时间,恳请各位提供帮助或调试方向,万分感谢。
相关资源说明:
- 自定义模型代码:
BertClassification.py(包含BERT分类相关的自定义函数与模型实现) - 完整训练流程:Colaboratory笔记本(记录了训练的全部步骤及输出结果)
内容的提问来源于stack exchange,提问作者davide1996b
相关产品推荐
相关产品推荐

