![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_4b849f4eef490e01eb9d17d1b9267d2d.png) # 炉米LoRA训练亮点 |**开放Seed** **LoRA训练** |**基模与模型广场打通** |**小样本训练模板** | |---|---|---| |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_f846b5e370e3e8d5f0190e959a7a8d93.png) |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_294629de65b40a517e153cd9654242bf.png) |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_a24e7e380f0aa69997c32bf7c0b393d6.png) | |**开放更多参数** |**图集在线裁剪** |**支持批量打标** | |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_6ead98d0fb94449d1faa73add9d406d7.png) |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_870e6726d555d382751a3c9971b68063.png) |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_222b6b5baeab202aba4e456255e218c5.png) | |**团队共享训练参数** ||| |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_3b79b2bf178fcc3d36ca1246a819acaf.png) ||| # **参数导入** 为了便于炼丹师之间的**协作训练**，「参数导入」功能支持一键导入/导出图集+打标内容+所有训练参数，团队可共享训练成果 |**导出模型参数** |**导入模型参数** | |---|---| |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_635e7ff71bd744fc74b03055d645daaa.png) |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_61a4297b4cc0a358762a9da1a2088ef5.png) | |\- 点击模型\-更多\-导出**模型参数json文件** |\- 一键导入**图集+打标内容+所有训练参数，团队高效共享训练内容** | # **多图集&正则图集训练** 让模型可以更好地学习不同图集的风格差异，通过不同的触发词高效调用，训练效果更加精细可控 ||![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_dc5e7db44b70b8c5a87a795815b49660.png) |\ |---|---| |#### **多图集** |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_f33df8c85f4a4d8b64655fb37c618654.png) |\ | |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_e7d9d6eeb38c106efbedee264715cb79.png) | |* 按照不同人像、风格等导入图集；|^^|\ |* 为每一个图集设定不同的触发词及重复训练次数| |\ |* eg：以**人像类LoRA模型的训练**为例，将图集按照：男性、女性、双人等内容划分，通过**设置不同的触发词**实现对应风格的调用，出图效果更佳。 | | |**正则图集** |^^| |* **场景：** 如果只针对单一概念训练，不需要正则化图集；如果训练多个概念，可以尝试增加正则图集，**++非必填，小白可直接略过。++**|^^|\ |* **作用：** 解决训练造成的**过拟合与语言漂移**问题 | | |**批量打标** |^^| |\- 可批量设置关键词至所有图片行首/尾，一键为该图集下全部图片打标，减少重复性步骤； |^^| # **图集在线裁剪** 只在这儿 | 裁剪无需跳转外部，在提交训练页面内即可轻松完成操作便捷 | 快速裁剪如去水印，为训练前处理提效方式多样| 灵活选取裁剪模式，人脸和主体选择适应不同训练场景 |步骤 |图示 |说明 | |---|---|---| |步骤1：上传图集 |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_a07bc23e766c1cbf44369972b37827e4.png) |图集右上角，点击裁剪 | |步骤2：直接裁图|![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_4e2378a2291c8a46f31bdceb4760197d.png) |进入裁剪界面，有4种模式可供选择。比如，如果想批量去掉水印，则在模式中选“中央裁剪”，在尺寸中选自定义，输入可可裁剪掉水印的高度数值，点击确认。 |\ |4种模式可供选择| | |\ |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_66446415fe945188c65b67369adb1bcf.png) | | | # **小样本训练模** |* 复用优质模型炼丹师训练参数|![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_fdeab6c819780399a1e9b62843f7fd0c.png) |\ |---|---| |* 聚焦人像摄影、概念、素材等多种垂类| |\ |* 一键体验同款模板 | | # **更多参数详解** ## **基础模型** 1. 基模选择基础模型**对效果有很大影响**，通常来说选择对应垂类的模型有利于产出更高质量的图。 2. Note: 目前支持CKPT和CHECKPOINT MERGE【Lora模型/HDFS格式待支持】，将鼠标移动到Download并右键复制链接地址，再将地址粘贴到炉米基础模型填写框中： 3. 训练不同类型Lora可以选择意向画风作为基模，比如训练动漫人物，选择动漫模型训练lora会更有效。 > * 3个基础模型训练capcut风格的效果比较： |日漫风 |贴纸风 |通用 | |---|---|---| |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_c2c62dcac767f45c1a300ae6e22baf77.jpg) |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_1bd1aff220c91256fdf4de85276f63ef.jpg) |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_57d7faa2aa45f9c10a5c2d97d713f8de.jpg) | ## **Lora诱发词 (trigger words/rare token)** * 一般用于唯一标识学习的内容，比如默认的 "sts style" 表示这种特定的新学到的风格，在生成图片的时候加入诱发词(sts这种生僻词）可以让效果更明显（有时会过拟合，通常可以调低权重来解决）； * 此外，诱发词如果是有含义的词也可以让模型更容易拟合，比如要学习光线，诱发词可以用 'xxx light'，要学习某条狗的模样，诱发词可用 'xxx dog' ；以下面剪纸为例，当初始词汇位' sts style'的时候，学到的效果偏弱，而当直接指定' chinese papercut style'后，可以定向学到想要的东西。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_848ccdc5dc9abf985acc83e6ed35f8aa.png) ## **打标工具** * 选择打标工具，默认BLIP更偏向自然语言； * tagger则会有更细粒度的标签，在动漫场景效果会更优。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_b592dcd35d33eb045e4722e899105eb8.png) ## **图集设置** * 一般不建议调整，如若训练图片较大，也可以适当调大分辨率； * 另外，启用桶可以自动处理长方形的图片，不需要额外调整分辨率。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_3bb3dd380b2126346ad3bb52cc25e6ed.png) ## **保存设置** * 可以保存更多中间版本的模型，若最终版本过度拟合（训练过久），可以选前面的版本进行测试； ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_77dd362239aae2eae1f2b6e09c8c3e86.png) ## **训练参数** * 轮次越多，效果越明显，但是过度训练会导致过拟合，**推荐训练的总步数数量在1w步以内；** * **总步数 = 图片数量 \*** **训练轮次**\*\*/训练批次(\*\***batch** **size)**，一般而言风格概念学习在3k～5k就能表现的不错了。 * **批量大小batchsize：** 越大训练速度越快，相对应的学习率可以增大（根号n倍增大），直接增大epoch亦可； ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_47c1329994a23510c7a2ba9f20e6b42b.png) ## **网络设置** * 这两个值一般保持一致，或1/2，数值越大模型参数量越大，当dim=128时，模型大小约为144mb； ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_866d45519cae1fc140cb89bbd764f2e2.png) ## **训练预览图设置** * 提前写入一些测试用的文本用于验证lora训练效果，这些文本最终会在模型返回的图中显示出来。 * 效果图从左到右分别是原模型+不同权重的lora，不同权重的lora代表所对应风格的效果强度，可以根据这个在使用lora的使用适当调整lora权重。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_3ee316f9aa7db1536f40864a656cabca.png) ## **噪声设置** * 让图片风格整体偏暗（类似Midjourney）推荐值 0.1～0.2； ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_936bfd3ceb87b4d0b8c9d4e2ac3c8b4c.png)

智能视觉服务