TensorFlow2/Keras训练IMDB文本分类模型出现准确率恒为50%的异常
根因定位
训练全程loss为0、准确率恒定在50%随机基线的问题,核心是两处配置和当前任务完全不匹配,和文本向量化、Embedding层初始化逻辑无关:
- 损失函数选型完全错位
你当前完成的是IMDB影评正负面二分类任务,从TFDS加载的标签是形状为(25000,)的0/1单值数组,并非多分类场景要求的one-hot编码格式。你选择的categorical_crossentropy是多分类专用损失,适配的是softmax多输出、one-hot标签的计算逻辑,和你当前单输出、单值标签的结构完全不兼容。 - 优化信号完全失效
因为损失函数和数据形状不匹配,Keras计算交叉熵时会出现维度对齐错误,算出的loss是没有参考价值的0值,根本无法生成正确的梯度回传给模型,导致所有层的权重从训练第一个epoch开始就完全没更新;同时配套计算的accuracy指标也会因为形状错位,永远输出二分类的随机猜测基线50%,完全无法反映模型的真实输出。 - 输出层和损失函数不匹配
你的最后一层是无激活函数的Dense(1),输出的是未经过sigmoid缩放的原始logits,哪怕切换到适配二分类的损失函数,也需要开启logits匹配参数,否则依然会出现计算逻辑错误。
修正方法
只需要修改模型编译部分的代码,替换成和当前任务、输出结构匹配的配置即可:
model.compile( optimizer='adam', loss=tf.keras.losses.BinaryCrossentropy(from_logits=True), metrics=['accuracy'] )
替换后重新训练,模型就能正常接收梯度更新,准确率会随训练轮次逐步上升,不会再卡在初始随机值。
补充说明:你设置的max_features=1000、sequence_length=50参数偏小,会限制模型可学习的文本特征规模,拉低最终精度上限,但这类参数问题只会影响最终效果,不会触发完全不训练、loss恒为0的异常。
内容的提问来源于stack exchange,提问作者zesla
相关产品推荐
相关产品推荐

