如何解决LoRA加载时出现的PEFT后端缺失报错问题？

问题描述 #

按照Hugging Face LoRA文本到图像训练教程完成训练后，推理阶段执行load_lora_weights时触发如下报错：

ValueError: PEFT backend is required for this method.

已安装PEFT，但教程未提及额外配置步骤，需排查问题并寻找替代方案。

复现代码 #

from diffusers import AutoPipelineForText2Image
import torch

pipeline = AutoPipelineForText2Image.from_pretrained("runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16).to("cuda")
pipeline.load_lora_weights("path/to/lora/model", weight_name="pytorch_lora_weights.safetensors")

问题排查与修复 #

1. 版本兼容性检查
   确保diffusers和peft版本匹配，旧版本可能存在API依赖问题，执行升级：

   pip install --upgrade diffusers peft
   

2. 显式指定PEFT后端
   在调用load_lora_weights时显式传入backend="peft"参数，强制启用PEFT后端：

   pipeline.load_lora_weights(
       "path/to/my/lora",
       weight_name="pytorch_lora_weights.safetensors",
       backend="peft"
   )
   

替代方案（不依赖PEFT） #

如果上述方法无效，可通过以下两种方式手动加载LoRA权重：

方式1：使用LoraLoaderMixin #

from diffusers import AutoPipelineForText2Image, LoraLoaderMixin
import torch

pipeline = AutoPipelineForText2Image.from_pretrained("runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16).to("cuda")
# 加载LoRA权重
LoraLoaderMixin.load_lora_weights(
    pipeline,
    "path/to/my/lora",
    weight_name="pytorch_lora_weights.safetensors",
    adapter_name="custom_lora"
)
# 启用适配器
pipeline.set_adapters(["custom_lora"], adapter_weights=[1.0])

方式2：直接注入权重到模型组件 #

手动读取.safetensors文件，将权重注入到UNet和Text Encoder：

from diffusers import AutoPipelineForText2Image
import torch
from safetensors.torch import load_file

pipeline = AutoPipelineForText2Image.from_pretrained("runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16).to("cuda")
lora_weights = load_file("path/to/my/lora/pytorch_lora_weights.safetensors")

# 加载UNet的LoRA权重
for k, v in lora_weights.items():
    if k.startswith("unet."):
        target_key = k.replace("unet.", "")
        pipeline.unet.state_dict()[target_key].copy_(v)

# 加载Text Encoder的LoRA权重
for k, v in lora_weights.items():
    if k.startswith("text_encoder."):
        target_key = k.replace("text_encoder.", "")
        pipeline.text_encoder.state_dict()[target_key].copy_(v)

内容的提问来源于stack exchange，提问作者Inaimathi