微调LLaMA时损失下降后反弹上涨的原因及解决方法

本人初次接触大语言模型（LLM）的二分类任务微调，已尝试采用PEFT LoRA与4-bit量化方式，以因果推理任务（下一个token预测）微调LLaMA 2和3，训练任务采用多种提示模板：

• ${Text}. ${Question}. ${Answer (Positive class or negative class)}
• ${Some context}. ${Question}. ${Answer (Positive class or negative class)}

训练参数 #

per_device_train_batch_size = 8
gradient_accumulation_steps = 4
optim = "paged_adamw_32bit"
save_steps = 100
logging_steps = 10
learning_rate = 1e-4
max_grad_norm = 0.3 # 已尝试使用默认max_grad_norm
max_steps = 1000
warmup_ratio = 0.03 # 已尝试使用默认warmup_ratio
lr_scheduler_type = "cosine_with_restarts" # 也尝试过"cosine"

训练器配置 #

trainer = SFTTrainer(
    model=model,
    args=training_arguments,
    train_dataset=dataset,
    packing=True,
    dataset_text_field="id",
    tokenizer=tokenizer,
    max_seq_length=1024,
    formatting_func=formatting_func,
)

当前遇到的问题：训练过程中损失函数在若干步后下降，但在特定步骤后持续上涨（推测LLaMA采用交叉熵损失函数）。询问该问题是否由LLaMA模型本身导致？可能的诱因有哪些？该如何解决？

是否由LLaMA模型本身导致？ #

不是。LLaMA系列模型的交叉熵损失逻辑成熟，不会无故出现损失后期上涨的情况，问题大概率出在训练配置、数据处理或任务适配环节。

可能的诱因 #

• 学习率过高：1e-4对于LoRA微调来说偏大，LoRA仅调整部分参数，过高的学习率易导致参数更新幅度过大，后期出现过拟合或梯度爆炸，引发损失上涨。
• 训练步数过多：max_steps=1000可能远超模型收敛所需步数，模型拟合训练集后继续训练会学习数据噪声，导致损失反向上涨。
• 数据打包的副作用：packing=True会将多个样本拼接成一个序列，可能模糊样本边界，让模型学习到无关的上下文关联，干扰后期损失收敛。
• 提示模板设计缺陷：当前模板无明确任务指令，模型无法精准理解二分类任务目标，训练后期易出现目标混乱，导致损失失控。
• 梯度裁剪设置不合理：max_grad_norm=0.3可能过小，过度裁剪梯度导致后期参数更新异常；或默认值过大，无法抑制梯度爆炸。
• 4-bit量化的精度损耗：4-bit量化虽降低显存占用，但可能带来精度损失，后期微小误差积累会导致损失计算异常、出现上涨。

解决方法 #

• 调整学习率：将学习率降至2e-5~5e-5区间，这是LoRA微调LLaMA的常用有效范围，避免参数更新过猛。
• 减少训练步数：先设置max_steps为300~500，观察损失曲线，当损失趋于平稳后及时停止训练，或加入早停机制（如early_stopping_patience=5）。
• 关闭数据打包：尝试设置packing=False，让每个样本独立输入，确保模型准确学习每个样本的二分类逻辑。
• 优化提示模板：加入明确任务指令，示例如下：

  "给定文本：${Text}。问题：${Question}。请判断该问题的答案是正面还是负面，直接输出'正面'或'负面'。"
  

  引导模型明确任务目标。
• 调整梯度裁剪：尝试使用默认max_grad_norm（通常为1.0），或在0.5~1.0之间调整，平衡梯度抑制和参数更新需求。
• 验证量化精度：显存允许的话，关闭4-bit量化用FP16训练对比结果，确认是否是量化导致的精度问题；若必须用4-bit，可开启bnb_4bit_use_double_quant=True等参数提升量化精度。
• 检查数据集：确认训练数据是否存在噪声样本、标签错误或分布不均的情况，清洗数据后重新训练。

内容的提问来源于stack exchange，提问作者sempraEdic