You need to enable JavaScript to run this app.
导航

创建模型精调任务

最近更新时间2023.11.06 19:16:19

首次发布时间2023.06.27 23:50:07

目前方舟平台仅支持「云雀」模型精调。

1 模型精调入口

入口1:找到云雀基座模型(skylark lite/plus/pro)在模型详情页面中,点击右上角的 模型精调 按钮。alt
入口2:模型精调页面左上角 创建精调任务 按钮。alt

2 填写模型精调任务表单

填写模型精调任务表单,包括任务名称、可见范围,选择希望精调的基座模型、训练方式、精调使用的数据集等,具体填写说明见下表。alt
该表单字段填写说明:

字段名是否必填描述及填写规范
任务名称给本次精调任务命名,方便记录检索;支持1~200位可见字符,且只包含大小写字母、中文、数字、中划线、下划线
任务描述给本次精调任务添加除名称以外的其他描述信息,方便多次迭代版本,重要信息记录;包含大小写字母、中文、数字、中划线、下划线
管理员默认是任务创建者;可以添加其他用户共同管理该任务
可见范围可见用户只能看到精调任务,不能对其修改
模型名称下拉选择精调基于的底座模型,目前平台仅开放了云雀模型

训练方法

平台提供2种训练方法:平台默认推荐LoRA

  1. LoRA:一种更高效低成本的模型精调技术,相较全量更新训练更快,同时精调效果基本接近;
  2. 全量更新:精调时更新基础大模型的全部参数,可更好地拟合特定任务,但需消耗更多的机器资源、训练时间更长。
参数配置具体参数见精调任务页面表单,平台有提供默认值作为推荐,用户可根据具体需求进行调整

混入预置SFT数据

在用户上传的训练集数据中混入Skylark模型的SFT(Supervised Fine Tuning,有监督微调)数据,混入比例表示混合后SFT数据占总数据量的比例,可调节范围:1-99%;平台默认关闭,用户可根据自己需求选择打开;
混入比例计算公式:假设用户训练集的样本数量为a,混入比例设置为X(X取值范围1-99%),要混入的SFT数据量为b, 则满足:b/(a+b)=X

训练集Train Set,用于训练模型以及确定参数;精调数据集格式可参考页面格式说明,数据集支持从本地上传或从TOS导入
验证集Validation Set,模型训练过程中,用于确定网络结构以及调整模型的超参数;平台默认关闭,用户可根据自己需求选择打开,可以从训练集中随机分割一定比例作为验证集,也可以上传独立于训练集的数据集,数据格式可参考页面格式说明,数据集支持从本地上传或从TOS导入

注意

  1. 打开「混入预置SFT数据」功能会增加训练数据量,可能会产生额外的训练费用,具体请见右上角训练费用预估。
  2. 打开「验证集」后,会跟训练集一起计算总tokens,来计算训练费用,若验证集选择从训练集中按比例分割,则不会增加总tokens。

数据集导入成功大约5秒后,右侧栏会显示本次模型精调任务所需的训练费用预估。确认无误后,点击“提交精调任务”按钮启动任务。
alt
任务启动后,可在精调任务列表中查看任务的运行状态。
alt