HuggingFace DistilBERT预训练模型微调后精度下降问题咨询

核心问题1：损失函数配置完全错误，直接导致训练时权重崩坏 #

你代码里的损失配置BinaryCrossentropy(from_logits=False)和模型输出完全不匹配，这是精度掉到51%（接近二分类随机猜测水平）的最主要原因：

• TFAutoModelForSequenceClassification在num_labels=2配置下，分类头默认输出未经过softmax/sigmoid激活的原始logits，数值范围不在概率要求的0_{1区间。你第一次评估时看到loss高达7.47就是明确的异常信号——正常收敛的二分类任务交叉熵损失只会在0}1区间浮动。
• 初始评估得到的80%精度是假象：精度指标的计算逻辑是取输出值更大的维度作为预测类别，哪怕输出值的尺度完全不对，只要正类输出比负类高就算预测正确，所以原始预训练权重的输出排序刚好能匹配大部分测试样本标签。一旦开始训练，错误的损失函数会算出完全错误的梯度，反向传播直接把预训练好的有效权重带崩，仅训练1轮就会让模型退化为随机猜测状态。

修复方法 #

二分类场景下直接用适配整数标签、原始logits输入的损失即可，对应编译代码修改为：

model.compile(
    optimizer=tf.keras.optimizers.Adam(learning_rate=5e-5),
    loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
    metrics=["accuracy"]
)

核心问题2：多余的文本预处理破坏了模型输入分布 #

你做的移除停用词、词形还原操作是传统机器学习文本分类流程的步骤，完全不适用于BERT类预训练模型：

• distilbert-base-uncased-finetuned-sst-2-english是在原始自然文本上完成预训练和SST-2数据集微调的，模型本身已经学习到了停用词、词形变化对应的语义信息，手动删除这些内容会直接让输入偏离模型训练时见过的分布，甚至会反转语义（比如把"not good"里的停用词"not"删掉后，剩下的"good"情感完全相反）。
• 你仅抽取了1000条样本做微调，小样本叠加分布偏移，会进一步加剧模型训练后的性能下降。

修复方法 #

预处理阶段只需要保留和模型匹配的Tokenizer分词操作，开启截断、固定长度填充即可，不需要额外做停用词移除、词形还原步骤。

运行速度极慢的原因 #

你遇到的评估/训练耗时长问题主要来自三个配置疏漏：

• 构建tf.data.Dataset时没有加.prefetch(tf.data.AUTOTUNE)，CPU数据处理和GPU模型计算串行执行，大量时间浪费在等待数据加载上。
• 分词时用默认的padding=True会把所有样本填充到整个数据集的最长文本长度，大量无意义的填充token会徒增计算量。
• 没有正确启用GPU加速，DistilBERT作为6600万参数的Transformer模型，在CPU上运行的速度本身就会比你之前接触的浅层全连接ANN慢一个数量级以上。

速度优化参考 #

数据集构建阶段增加优化配置，分词时固定最大长度为适合短文本分类的128：

# 分词时固定最大长度，避免过长的无意义填充
train_encodings = tokenizer(
    list(train_text_data),
    truncation=True,
    max_length=128,
    padding="max_length"
)
train_dataset = tf.data.Dataset.from_tensor_slices((dict(train_encodings), list(train_labels)))
# 增加prefetch让数据加载和模型计算并行
train_dataset = train_dataset.shuffle(buffer_size=1024).take(1000).batch(16).prefetch(tf.data.AUTOTUNE)

# 测试集做同样配置
test_encodings = tokenizer(
    list(test_text_data),
    truncation=True,
    max_length=128,
    padding="max_length"
)
test_dataset = tf.data.Dataset.from_tensor_slices((dict(test_encodings), list(test_labels)))
test_dataset = test_dataset.batch(16).prefetch(tf.data.AUTOTUNE)

按照以上配置修改后，初始评估阶段的loss会降到0.2_{0.5的正常区间，微调后精度不会出现断崖式下跌，整体运行速度也会提升5}10倍。

内容的提问来源于stack exchange，提问作者raquelhortab