文档中心

标注任务

最近更新时间：2023.09.13 15:04:04

首次发布时间：2023.09.13 15:04:04

1 新建标注任务

标注任务菜单页面，点击左上角 新建任务 按钮，新建标注任务。

2 选择任务类型模版

目前有两个模版可以选择，点击卡片后进入到模版配置页面。

2.1 多Response排序评测标注模版配置

可以配置任务名称、培训文档、批注驳回分类，点击 下一步 进入到数据送标注配置页面。

点击 新增数据 按钮，配置送标注数据。

如无需调用模型生成答案，可以选择Prompt+Response格式数据集。

需要模型生成答案时，需要选择模型名称(支持选择 预置模型 或者 我的服务 中的模型)，选择Prompt格式数据集，填写生成待排序答案数量。

点击确定按钮后，可以看到送标数据的预估生成时间，点击完成按钮，完成任务配置。

2.2 Prompt/Response分类打分改写标注模版配置

填写任务配置表单，填写任务名称、培训文档、批注驳回分类，选择是否有背景信息，填写标注场景标签、Prompt打分标签、选择是否需要修改，填写Response打分标签、选择是否需要修改，点击 下一步 进入到数据送标注配置页面。

选择数据集，点击确定按钮完成数据送标注。

3 数据标注作业

3.1 多Response排序评测标注任务作业

点击 是否上线 按钮，将任务上线后，点击标注按钮。

点击右上角 开始做题/修改 按钮，进入标注作业页面。

可以通过拖拽卡片的方式，对答案的准确性由高到低进行排序。同时可以对每个答案的相关性打分。

点击右上角提交按钮，提交本道标注试题，同时自动领取下一道试题。可以勾选 不可标注 按钮，放弃此题。

3.2 Promot/Response分类打分改写任务作业

点击 是否上线 按钮，将任务上线后，点击标注按钮。

点击右上角 开始做题/修改 按钮，进入标注作业页面。

配置无背景信息时标注页面，可以选择场景，对Prompt和Response分别进行打分、修改。点击右上角提交按钮，提交本道标注试题，同时自动领取下一道试题。可以勾选 不可标注 按钮，放弃此题。
![](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_46c4e758f9e98af30ff665500f790299.png
配置有背景信息时标注页面，可以切换原始文本，MarkDown格式文本方式查看背景信息，可以选择场景，对Prompt和Response分别进行打分、修改。点击右上角提交按钮，提交本道标注试题，同时自动领取下一道试题。可以勾选 不可标注 按钮，放弃此题。