标注任务菜单页面,点击左上角 新建任务 按钮,新建标注任务。
目前有两个模版可以选择,点击卡片后进入到模版配置页面。
可以配置任务名称、培训文档、批注驳回分类,点击 下一步 进入到数据送标注配置页面。
点击 新增数据 按钮,配置送标注数据。
如无需调用模型生成答案,可以选择Prompt+Response格式数据集。
需要模型生成答案时,需要选择模型名称(支持选择 预置模型 或者 我的服务 中的模型),选择Prompt格式数据集,填写生成待排序答案数量。
点击 确定 按钮后,可以看到送标数据的预估生成时间,点击 完成 按钮,完成任务配置。
填写任务配置表单,填写任务名称、培训文档、批注驳回分类,选择是否有背景信息,填写标注场景标签、Prompt打分标签、选择是否需要修改,填写Response打分标签、选择是否需要修改,点击 下一步 进入到数据送标注配置页面。
选择数据集,点击 确定 按钮完成数据送标注。
点击 是否上线 按钮,将任务上线后,点击 标注 按钮。
点击右上角 开始做题/修改 按钮,进入标注作业页面。
可以通过拖拽卡片的方式,对答案的准确性由高到低进行排序。同时可以对每个答案的相关性打分。
点击右上角 提交 按钮,提交本道标注试题,同时自动领取下一道试题。可以勾选 不可标注 按钮,放弃此题。
点击 是否上线 按钮,将任务上线后,点击 标注 按钮。
点击右上角 开始做题/修改 按钮,进入标注作业页面。
配置无背景信息时标注页面,可以选择场景,对Prompt和Response分别进行打分、修改。点击右上角 提交 按钮,提交本道标注试题,同时自动领取下一道试题。可以勾选 不可标注 按钮,放弃此题。
![](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_46c4e758f9e98af30ff665500f790299.png
配置有背景信息时标注页面,可以切换原始文本,MarkDown格式文本方式查看背景信息,可以选择场景,对Prompt和Response分别进行打分、修改。点击右上角 提交 按钮,提交本道标注试题,同时自动领取下一道试题。可以勾选 不可标注 按钮,放弃此题。
标注任务菜单点击 任务名称 ,进入到任务详情页面
点击任务的 数据详情 标签页,查看任务中标注试题的状态。
点击 任务统计 标签页,查看任务中标注员维度的作业统计,点击左上角 数据导出 按钮,可以导出页面数据。
在结果导出标签页,选择数据范围、数据格式,点击左上角 导出数据 按钮,会生成一条标注结果导出记录,点击 下载 按钮,下载标注结果为csv文件