NLP多分类情感分类器训练报错:logits与labels形状不匹配
问题
构建NLP三分类情感分类器时,训练阶段报错:logits形状为(None, 3),labels形状为(None, 1),二者不匹配导致训练失败。模型最后一层已设置为3输出+softmax激活,判断问题出在标签处理上。当前标签是映射为整数的一维numpy数组(形状(None,1)),不清楚如何调整标签维度匹配模型输出。
解决方案
有两种简单的修复方式,任选其一即可:
方法一:对标签做One-Hot编码,配合categorical_crossentropy损失函数
模型当前使用categorical_crossentropy损失函数,该函数要求标签为one-hot编码形式(形状为(样本数, 类别数)),而非当前的一维整数数组。使用tf.keras.utils.to_categorical转换标签:
# 替换原有train_y、test_y的定义 train_y = tf.keras.utils.to_categorical(np.array(train_df['sentiment_cat']), num_classes=3) test_y = tf.keras.utils.to_categorical(np.array(test_df['sentiment_cat']), num_classes=3)
转换后标签形状变为(None, 3),与模型输出的logits形状完全匹配,可正常启动训练。
方法二:改用sparse_categorical_crossentropy损失函数,无需修改标签
若不想调整标签格式,直接替换损失函数为sparse_categorical_crossentropy即可。该损失函数专门适配标签为一维整数索引的多分类场景,无需one-hot编码:
with tf.device(device_name): model.compile(loss='sparse_categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
此方法更简洁,无需改动标签的形状与编码方式,适配当前标签格式。
额外提示
- 代码中
convert_to_list函数生成的train_labels、test_labels未被使用,可清理以避免代码冗余。 - 确认
sentiment_cat的编码为连续整数(0、1、2对应三类),cat.codes默认会生成连续编码,一般无需额外处理。
内容的提问来源于stack exchange,提问作者zolotl
相关产品推荐
相关产品推荐

