# 使用方式 1. ## 基础文生图 **入口：** [灵感广场-自研Seed系列](https://console.volcengine.com/lumi/home/ai_capability) * 选择模型，输入prompt指令即可![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_97b5c2fbf0b881ea7e35468f145177f2.png) 2. ## LoRA训练\-可支持2048分辨率训练 ### 训练教程

### 数据集压缩包示例 |压缩包导入帮助 |编辑前 |编辑后 |编辑指令 | |---|---|---|---| |

|

|

| |\ |

|

|

||\ | ||| |\ | | | | |

### 配对数据构建 #### **数据标准** 1. 变化过程必须符合目标效果定义，且尽可能统一，如差别较大，需分类后打标 2. 对于原图和目标图，除需要改变的属性之外，尽可能保持图像信息高度一致（如清晰度、人脸、背景、服饰、颜色风格、纹理等一致性） 3. 覆盖场景尽量符合落地场景，若希望全场景覆盖，可构建人像、宠物、风景、近景、远景、特写等配对数据 4. 分辨率高于1k，长宽比尽量贴近落地场景。（可考虑使用AIGC SR服务提升分辨率） 5. 数据量在保证符合以上标准的情况下越多越好，一般要求大于50对 #### **配对数据构建方式** 1. 可以搜集目标图（或输入图），然后始终seededit/dreamedit workflow生成输入图（或目标图），从而构建配对数据。 2. 也可以训练t2i lora通过controlnet/inpainting等worfklow链路构建配对数据 |编辑区域 |技术链路 |数据链路 | |---|---|---| |风格化 |t2i lora + controlnet workflow|![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_1e69c2e1f8b9636ef4814474f77ed471.jpeg =2160x) ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_c4b8c6a7606ee0c74b2eb553917f3d08.jpeg =2160x) ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_a97d769b86849d1881694f12befd706e.jpeg =2160x) |\ | | | | |只变局部区域 |t2i lora + inpainting|![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_fe84a7e99fe347c801a5f8da23608621.jpeg =2048x) ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_c9b04142c89278c238ad5e577da3860a.jpeg =1536x) ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_1121b9bc36d89db8ae0bacad5c9c83b0.png =2162x) |\ | | | | |只变局部区域|Dreamedit反向造数据|![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_f736cbb15bb5499ae338974218712da8.png =2160x) ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_1d07b159c7a262c96841edf8e555348a.png =1406x) ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_e4cea5355ee8808bd352f6c70c23d58e.png =2882x) |\ | | | | ### 文本打标文本打标方式，分为普通标和特殊标，以下图配对数据为例，打标可有两种方式， 1. 特殊标：把头发变成dasfafwrqwewq 2. 普通标：把头发变成杀马特以经验来看，越贴合编辑模型直出的描述会越容易学会（lora只作为一个加强效果和提高稳定性的功能）。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_705b6c1e8462242bb0ea62d4b1ae3de8.jpeg =2048x) ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_4f72adab1c2ec9877640935055f354a2.jpeg =1922x) 1. 编辑指令**尽可能简洁、直接**，可以描述一个general的编辑目标：比如美化人像、美化人脸，也可以是一个具体的目标：比如将发型变成波波卡。before caption 是详细的输入图描述，after caption 是详细的输出图描述；其中，after caption 和 before caption 的句式结构、语法相似，只在描述编辑内容的区域有差异。 2. 指令可以理解为遗忘训练lora的触发词，可以是固定的（对应打标的**图像+指令**），也可以是不固定的（对应打标的**图像**模式）；不固定的指令应该拥有相似的句式：比如“把xxx变成xxx”。 3. 推理时，设计师需要定制PE节点，根据输入图和lora，调教VLM能够输出类似训练数据的 before caption、after caption；如果编辑指令不固定，还要求 vlm 输出对应 before/after 差异、且结构相似的指令。 ### 训练参数 |