使用BERT进行5分类情感分析时出现标签范围错误求助

核心错误点 #

• 模型输出类别数不匹配：你加载的TFBertForSequenceClassification默认只初始化2个分类输出，而你的任务需要5个类别，导致模型无法处理标签值5。
• 标签范围不符合要求：SparseCategoricalCrossentropy要求标签从0开始（即范围为[0, num_classes-1]），但你的标签是1-5，即使修正模型类别数后，也需要将标签调整为0-4才能匹配要求。

修正步骤 #

1. 初始化模型时指定类别数：在from_pretrained方法中添加num_labels=5参数，让BERT模型输出对应5个类别的logits。
2. 调整标签值：将训练集和验证集中的所有标签统一减1，把1-5的标签转换为0-4（对应极负面到极正面的映射）。

修正后的代码示例 #

from transformers import BertTokenizer, TFBertForSequenceClassification
from transformers import InputExample, InputFeatures
import tensorflow as tf

# 初始化模型时明确指定5个分类类别
model = TFBertForSequenceClassification.from_pretrained("bert-base-cased", num_labels=5)
tokenizer = BertTokenizer.from_pretrained("bert-base-cased")

model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=3e-5, epsilon=1e-08, clipnorm=1.0), 
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True), 
              metrics=[tf.keras.metrics.SparseCategoricalAccuracy('accuracy')])

# 调整标签：假设数据集中标签存储在labels字段，需提前将标签减1
# 示例（针对tf.data.Dataset格式）：
# train_data = train_data.map(lambda x, y: (x, y - 1))
# validation_data = validation_data.map(lambda x, y: (x, y - 1))

model.fit(train_data, epochs=2, validation_data=validation_data)

补充说明 #

• 必须确保在数据预处理阶段完成标签的减1操作，否则即使模型类别数正确，仍会出现标签范围不匹配的错误。
• 你选择的SparseCategoricalCrossentropy损失函数是合适的，它适用于整数型标签（无需做one-hot编码），与你的标签格式匹配。

内容的提问来源于stack exchange，提问作者Kay