PyTorch 2.0.1编译HuggingFace BERT模型微调故障求助

一、修复PyTorch API编译的报错问题 #

你遇到的AttributeError: 'function' object has no attribute 'parameters'是因为在PyTorch 2.0.1中，使用torch.compile(model, dynamic=True, fullgraph=True)会导致编译后的对象不再是标准的nn.Module结构，而Hugging Face Trainer依赖模型的parameters()方法进行参数统计和优化器初始化。

解决步骤： #

移除fullgraph=True参数，仅保留dynamic=True来支持动态输入形状（fullgraph=True要求模型forward是单一计算图，绝大多数Hugging Face模型无法满足该条件）：

model = AutoModelForSequenceClassification.from_pretrained(
    model_id, num_labels=num_labels, label2id=label2id, id2label=id2label
)
# 仅保留dynamic=True，移除fullgraph=True
model = torch.compile(model, dynamic=True)

training_args = TrainingArguments(
    output_dir="./temp",
    per_device_train_batch_size=128,
    per_device_eval_batch_size=128,
    learning_rate=5e-5,
    num_train_epochs=3,
    optim="adamw_torch_fused",
    logging_steps=1,
    logging_strategy="steps",
    evaluation_strategy="epoch",
    save_strategy="epoch",
    save_total_limit=2,
    load_best_model_at_end=True,
    metric_for_best_model="f1",
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=dataset["train"],
    eval_dataset=dataset["test"],
    tokenizer=tokenizer,
    compute_metrics=compute_metrics,
)

trainer.train()

二、解决Transformers API编译速度变慢的问题 #

你推测的动态输入形状导致速度下降是正确的：默认开启torch_compile=True时，Trainer未启用动态形状支持，当输入序列长度不固定时，编译后的计算图会频繁重新编译，导致速度暴跌。

解决步骤： #

在TrainingArguments中添加torch_compile_mode="dynamic"参数，同时确保数据集预处理时固定输入长度：

1. 修改TrainingArguments：

training_args = TrainingArguments(
    output_dir="./temp",
    per_device_train_batch_size=128,
    per_device_eval_batch_size=128,
    learning_rate=5e-5,
    num_train_epochs=3,
    torch_compile=True,
    # 开启动态形状编译模式
    torch_compile_mode="dynamic",
    optim="adamw_torch_fused",
    logging_steps=1,
    logging_strategy="steps",
    evaluation_strategy="epoch",
    save_strategy="epoch",
    save_total_limit=2,
    load_best_model_at_end=True,
    metric_for_best_model="f1",
)

2. 预处理数据集时固定输入长度（关键优化）：

def preprocess_function(examples):
    return tokenizer(
        examples["text"],
        padding="max_length",  # 强制padding到max_length
        truncation=True,       # 截断过长序列
        max_length=128         # 根据你的任务设置合适长度
    )

dataset = dataset.map(preprocess_function, batched=True)

额外优化建议 #

• 升级PyTorch到2.1+版本：PyTorch 2.0.1的编译功能仍有兼容性问题，2.1+版本对动态形状和Hugging Face模型的支持更完善，性能提升更明显。
• 验证CUDA环境：确保使用的CUDA版本与PyTorch 2.0.1兼容，fused优化器需要CUDA 11.7+支持。

内容的提问来源于stack exchange，提问作者eawer