You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

PyTorch下BERT多分类情感分类准确率极低问题求助

基于BERT的GoEmotions多分类情感分类模型训练停滞:准确率0.4无提升、损失不下降

我在PyTorch框架下,使用GoEmotions数据集训练BERT架构实现多分类情感分类,但遇到了棘手的训练停滞问题:训练集与验证集的平均准确率始终维持在0.4左右,训练轮次中完全没有提升趋势,同时损失值也全程没有下降。

对比教程中的模型,人家从第一个训练轮次开始就能达到85%的准确率,我完全搞不懂自己的模型为何表现如此糟糕。

我已经尝试了多种调试方法,但均无成效:

  • 修改模型架构,添加额外的Linear层
  • 将独热编码标签替换为序列化标签(如1, 0, 2, 0...)
  • 调整学习率、批量大小、分词器最大长度等超参数
  • 确认损失函数选择正确,且梯度更新前已完成清零操作
  • 检查并确保数据集类别均衡
  • 更换其他数据集排查是否为数据本身的问题
  • 其他多种针对性尝试

这个问题已经困扰我一周时间,恳请各位提供帮助或调试方向,万分感谢。

相关资源说明:

  • 自定义模型代码:BertClassification.py(包含BERT分类相关的自定义函数与模型实现)
  • 完整训练流程:Colaboratory笔记本(记录了训练的全部步骤及输出结果)

内容的提问来源于stack exchange,提问作者davide1996b

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.08.16 01:55:20