Stable Diffusion DreamBooth文本编码器微调方法及数据集疑问

一、数据集格式要求 #

和LoRA的格式完全一致：每个训练图片对应一个同名的.txt文本文件，两者放在同一目录下即可。比如portrait_01.jpg对应portrait_01.txt，模型会自动关联读取。

二、文本文件内容规范 #

文本文件里要写精准描述图片核心特征/风格的提示词，重点突出你想让模型学习的目标：

• 如果是特定人像风格：要包含专属标识符（避免和模型原有概念混淆，比如sks person）+ 风格细节+面部特征，例如a photo of sks person in retro polaroid style, clear facial contours, warm golden lighting
• 如果是通用风格迁移：直接明确风格关键词+场景/主体，例如oil painting of a city street, impressionist style, thick brush strokes
• 注意：不要写过于笼统的内容，越具体越能帮模型准确学习到你想要的风格。

三、仅添加--train_text_encoder参数是否可行？ #

可行，但效果需要配合数据集质量和基础训练配置。只加这个参数+正确格式的数据集，就能让文本编码器学习到新的风格/概念与文本的关联，但结合DreamBooth的核心训练逻辑（比如专属标识符、学习率适配），才能最大化提升生成效果，尤其是面部细节的还原度。

另外，显存不足的话可以用梯度累积（--gradient_accumulation_steps）或8位训练（--load_in_8bit）降低显存占用，不一定非要满24GB显存。

四、当前常用的文本编码器类型 #

Stable Diffusion 1.5默认使用的是CLIP ViT-L/14，这也是生态中最主流的选择。其他衍生类型包括：

• CLIP ViT-B/32：模型体量更小，显存占用低，但编码精度稍弱，很少用于SD1.5的风格微调。
• 社区微调版CLIP：部分开发者基于ViT-L/14针对特定风格（比如二次元、复古摄影）进一步微调的版本，但SD1.5生态中仍以原版ViT-L/14为主。

五、DreamBooth微调文本编码器的完整步骤 #

1. 整理数据集：按图片+同名文本文件的格式准备，确保每个文本文件的提示词精准对应图片特征。
2. 配置训练参数：
   • 基础DreamBooth参数：指定数据集路径、专属实例提示词
   • 开启文本编码器训练：添加--train_text_encoder
   • 显存优化（可选）：--load_in_8bit --gradient_accumulation_steps 4
   • 学习率设置：文本编码器的学习率要低于UNet，比如UNet用2e-6，文本编码器用1e-6
3. 启动训练脚本（以Hugging Face Diffusers库为例）：

   accelerate launch train_dreambooth.py \
     --pretrained_model_name_or_path runwayml/stable-diffusion-v1-5 \
     --instance_data_dir ./my_style_dataset \
     --output_dir ./trained_style_model \
     --instance_prompt "a photo of sks retro style" \
     --train_text_encoder \
     --load_in_8bit \
     --gradient_accumulation_steps 4 \
     --learning_rate 2e-6 \
     --text_encoder_learning_rate 1e-6 \
     --num_train_epochs 100
   

4. 验证调优：训练完成后用相同提示词生成图片，对比面部细节和风格还原度，必要时调整提示词或训练轮次迭代优化。

内容的提问来源于stack exchange，提问作者nayan dhabarde