TFDebertaForSequenceClassification二分类出现形状不兼容错误如何解决

你遇到的形状不匹配报错核心是模型输出维度和标签维度、损失函数要求不匹配：

• 未指定num_labels参数时，TFDebertaForSequenceClassification默认按2分类任务输出形状为(batch_size, 2)的logits
• 你的标签处理后是形状为(batch_size, 1)的单值标签，且损失函数用的是只接受单输出的BinaryCrossentropy，二者维度不对应导致报错。

方法1：调整模型为单输出二分类模式（推荐） #

在初始化模型时指定num_labels=1，让模型输出形状为(batch_size, 1)的概率值，适配你当前的损失和标签配置：

model = TFDebertaForSequenceClassification.from_pretrained('kamalkraj/deberta-base', num_labels=1)

同时给BinaryCrossentropy加上from_logits=True参数，因为HuggingFace的TF模型默认输出logits而非激活后的概率，避免损失计算异常：

model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=lr), 
              loss=tf.keras.losses.BinaryCrossentropy(from_logits=True),
              metrics=[tf.keras.metrics.BinaryAccuracy(), tf.keras.metrics.Recall()])

方法2：适配多分类输出逻辑 #

如果要保留模型默认的2个输出神经元，需要同步调整损失函数、指标和标签格式：

• 损失函数换成SparseCategoricalCrossentropy(from_logits=True)
• 标签处理时去掉包裹的列表，把labels.append([data[3]])改为labels.append(data[3])，让标签形状变为(batch_size,)
  调整后的编译代码如下：

model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=lr), 
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              metrics=[tf.keras.metrics.SparseCategoricalAccuracy(), tf.keras.metrics.Recall(class_id=1)])

内容的提问来源于stack exchange，提问作者Temp