SFTTrainer参数报错：packing等参数失效的技术问询

问题背景 #

使用trl库的SFTTrainer微调模型时，遇到多个TypeError错误，提示存在意外关键字参数。

代码示例 #

from transformers import TrainingArguments
from trl import SFTTrainer

output_dir = "tinyllama_instruct"
training_arguments = TrainingArguments(
    output_dir=output_dir,
    per_device_train_batch_size=1,
    per_device_eval_batch_size=1,
    gradient_accumulation_steps=16,
    save_strategy="epoch",
    evaluation_strategy="epoch",
    logging_steps=25,
    learning_rate=2e-5,
    max_grad_norm=1.0,
    weight_decay=0.1,
    warmup_ratio=0.1,
    lr_scheduler_type="cosine",
    fp16=True,
    report_to=["tensorboard", "wandb"],
    num_train_epochs=1,
    gradient_checkpointing=True,
    gradient_checkpointing_kwargs={"use_reentrant": False},
)

trainer = SFTTrainer(
    model=model,
    args=training_arguments,
    train_dataset=dataset["train"],
    eval_dataset=dataset["test"],
    tokenizer=tokenizer,
    packing=True,  # 引发TypeError
    dataset_text_field="content",  # 移除packing后引发TypeError
    max_seq_length=2048,  # 移除dataset_text_field后引发TypeError
)

遇到的错误 #

• TypeError: SFTTrainer.__init__() got an unexpected keyword argument 'packing'
• 移除packing=True后出现：TypeError: SFTTrainer.__init__() got an unexpected keyword argument 'dataset_text_field'
• 移除dataset_text_field="content"后出现：TypeError: SFTTrainer.__init__() got an unexpected keyword argument 'max_seq_length'
• 移除所有上述参数后，分词时出现KeyError: 'text'

已尝试操作 #

• 逐个移除问题参数，但每次都会出现新问题
• 查阅trl最新文档，发现packing、dataset_text_field、max_seq_length似乎不再是SFTTrainer的参数
• 验证数据集结构

核心问题 #

1. SFTTrainer API是否近期更新，这些参数是否已被弃用？
2. 如何正确传递max_seq_length并指定数据集中的文本字段？
3. packing现在应如何处理？

解决方案 #

1. API更新说明 #

是的，trl库在v0.7.0版本后对SFTTrainer的参数结构进行了重构，packing、dataset_text_field、max_seq_length等参数不再直接作为SFTTrainer的初始化参数，而是被迁移到**SFTConfig类**中统一管理。

2. 正确传递max_seq_length与文本字段 #

需要先创建SFTConfig实例，将dataset_text_field、max_seq_length等参数配置到该实例中，再通过trainer_config参数传递给SFTTrainer。

3. packing参数的处理 #

同样将packing=True配置到SFTConfig实例中即可。

修改后的代码示例 #

from transformers import TrainingArguments
from trl import SFTTrainer, SFTConfig

output_dir = "tinyllama_instruct"
training_arguments = TrainingArguments(
    output_dir=output_dir,
    per_device_train_batch_size=1,
    per_device_eval_batch_size=1,
    gradient_accumulation_steps=16,
    save_strategy="epoch",
    evaluation_strategy="epoch",
    logging_steps=25,
    learning_rate=2e-5,
    max_grad_norm=1.0,
    weight_decay=0.1,
    warmup_ratio=0.1,
    lr_scheduler_type="cosine",
    fp16=True,
    report_to=["tensorboard", "wandb"],
    num_train_epochs=1,
    gradient_checkpointing=True,
    gradient_checkpointing_kwargs={"use_reentrant": False},
)

# 配置SFTConfig，包含原有的参数
sft_config = SFTConfig(
    dataset_text_field="content",  # 指定数据集的文本字段
    max_seq_length=2048,          # 设置最大序列长度
    packing=True,                 # 启用packing
)

trainer = SFTTrainer(
    model=model,
    args=training_arguments,
    train_dataset=dataset["train"],
    eval_dataset=dataset["test"],
    tokenizer=tokenizer,
    trainer_config=sft_config,     # 传递SFTConfig实例
)

关于KeyError: 'text'的说明 #

移除所有问题参数后出现该错误，是因为SFTTrainer默认会查找数据集里名为text的字段作为训练文本，而你的数据集使用的是content字段，因此必须在SFTConfig中通过dataset_text_field明确指定，否则会找不到对应字段。

内容的提问来源于stack exchange，提问作者trougc