如何使用trl包的SFTTrainer结合负样本微调语言模型？

首先明确：SFTTrainer本身没有内置的负样本支持，它的核心设计是基于单样本（正样本）的监督微调，聚焦于对齐模型输出与人类偏好的正确响应。不过可以通过两种自定义方式实现负样本训练：

方法一：将负样本整合到Prompt中（适配SFT原生流程） #

这种方法无需修改Trainer核心逻辑，只需调整数据集格式，让模型在同一个Prompt下同时看到正确响应（正样本）和错误响应（负样本），通过指令引导模型学习区分。

示例数据集格式（JSON）：

{
  "prompt": "用户问题：如何制作披萨？",
  "response": "正确做法：准备面粉、酵母、番茄酱、芝士等材料，揉面发酵后铺料烘烤。\n错误做法：直接把面包片煎一下撒上白糖。"
}

或者更结构化的指令式Prompt模板：

用户提问：{question}
请判断以下响应的正确性，并输出唯一的正确回答：
错误回答：{negative_response}
正确回答：{positive_response}

之后正常使用SFTTrainer训练即可，模型会学习在给定问题和错误示例的前提下输出正确内容。

方法二：自定义损失函数，引入对比学习逻辑 #

如果需要更直接的负样本监督（比如强制模型对正样本的预测概率高于负样本），可以继承SFTTrainer并重写损失计算逻辑：

1. 提前准备包含prompt、positive_response、negative_response字段的数据集；
2. 自定义Trainer类，在compute_loss中同时计算正、负样本的损失，并加入对比约束。

示例代码片段：

from trl import SFTTrainer
import torch.nn.functional as F
import torch

class SFTWithNegativeTrainer(SFTTrainer):
    def compute_loss(self, model, inputs, return_outputs=False):
        # 拆分正、负样本输入（需提前将数据集处理为批量二维结构，每个样本包含正、负两个序列）
        positive_inputs = {k: v[:, 0, :] for k, v in inputs.items() if k in ["input_ids", "attention_mask", "labels"]}
        negative_inputs = {k: v[:, 1, :] for k, v in inputs.items() if k in ["input_ids", "attention_mask", "labels"]}
        
        # 计算正样本交叉熵损失
        positive_outputs = model(**positive_inputs)
        positive_loss = F.cross_entropy(
            positive_outputs.logits.view(-1, model.config.vocab_size),
            positive_inputs["labels"].view(-1),
            ignore_index=-100
        )
        
        # 计算负样本的对比惩罚损失
        negative_outputs = model(**negative_inputs)
        # 让正样本的平均logits高于负样本，用sigmoid约束实现
        contrastive_loss = -F.logsigmoid(
            positive_outputs.logits.mean(dim=-1) - negative_outputs.logits.mean(dim=-1)
        ).mean()
        
        # 组合总损失，可调整对比损失的权重
        total_loss = positive_loss + 0.1 * contrastive_loss
        
        return (total_loss, {"positive_outputs": positive_outputs, "negative_outputs": negative_outputs}) if return_outputs else total_loss

注意：这种方法需要配套调整data_collator，确保输入数据被整理成包含正、负样本的批量结构。

另外，如果场景允许，也可以先借助TRL的RewardTrainer训练一个对正负样本打分的奖励模型，再通过PPO流程实现偏好对齐，但如果仅需在SFT阶段加入负样本，上述两种方法更直接高效。

内容的提问来源于stack exchange，提问作者countinglambdastosleep