RoBERTa微调模型输出固定、验证损失无变化的解决方法咨询

基于RoBERTa微调搭建文本语料评分模型，训练时训练损失（MSE）有变化，但验证损失（MSE）从第1轮到10~15轮始终保持不变。尝试在输出层前添加GELU层后问题仍未解决。模型代码如下：

class TF_RoBERTa_VAD_Classification(tf.keras.Model):
    def __init__(self, model_name):
        super(TF_RoBERTa_VAD_Classification, self).__init__()

        self.model_name = model_name
        self.roberta = TFRobertaModel.from_pretrained(model_name, from_pt=True)

        self.output_layer = tf.keras.layers.Dense(1, kernel_initializer=tf.keras.initializers.TruncatedNormal(0.02), activation="linear", name="Linear_Output") # Initializer function test
    
    def call(self, inputs):
        input_ids, attention_mask = inputs

        outputs = self.roberta(input_ids=input_ids, attention_mask=attention_mask)
        cls_token = outputs[1]

        outputs = self.output_layer(cls_token)

        return outputs

    def get_config(self):
        config = super().get_config()
        config.update({
            "model_name": self.model_name,
        })
        return config

    @classmethod
    def from_config(cls, config):
        model = cls(config["model_name"])
        return model

• 检查验证集数据问题
  • 确认验证集是否存在数据泄露：比如验证集样本和训练集高度重合，或验证集标签分布异常（大量样本标签相同）。
  • 核对验证集预处理流程是否和训练集完全一致：包括tokenization的max_length、截断策略，是否做了相同的归一化处理等。
• 调整模型训练策略
  • 解冻RoBERTa部分层：当前代码中RoBERTa默认完全冻结，仅训练输出层极易导致泛化能力不足。可尝试解冻最后2-4层Transformer编码器，或采用分层学习率（RoBERTa底层用小学习率，上层和输出层用大学习率）。
  • 调整学习率：尝试将学习率从默认的1e-5调整为5e-6或2e-5，搭配ReduceLROnPlateau学习率调度器动态调整。
  • 添加正则化：在输出层前加入tf.keras.layers.Dropout(0.1)，或给Dense层添加L2正则化（kernel_regularizer=tf.keras.regularizers.l2(1e-4)），避免过拟合训练集。
• 排查训练流程细节
  • 确认验证集计算逻辑：确保模型评估时关闭了dropout、batch normalization的训练模式（Keras的model.evaluate()默认自动切换，但手动实现需注意）。
  • 检查损失计算正确性：确认MSE损失的输入是模型输出与验证集真实标签，无标签错位或类型不匹配问题。
  • 延长训练轮数：若验证损失前期无变化，可能是模型尚未学习到验证集模式，尝试训练20轮以上观察变化。
• 调整输出层结构与初始化
  • 更换Dense层初始化器：比如用GlorotUniform替代TruncatedNormal，或调整初始化标准差。
  • 在CLS token后添加小型MLP：例如先通过Dense(256, activation='gelu')，再接Dropout，最后连输出层，提升模型拟合能力。

内容的提问来源于stack exchange，提问作者Sion