入口:数据集菜单页面,点击左上角的 创建数据集 按钮。
填写创建数据集表单,包括填写数据集名称,选择“评测”数据类型,上传数据集文件,填写标签、描述。
数据集文件示例
在线评测(单轮):需要由数据集上传Prompt数据,Response调用方舟模型在线生成。评测数据为单轮对话形式
示例文件:(预置)单轮在线评测范例数据集.csv
文件格式说明:Prompt列为必填,其它列为选填
在线评测(多轮):需要由数据集上传Prompt数据,Response调用方舟模型在线生成。评测数据为多轮对话形式。
示例文件:(预置)多轮在线评测范例数据集.csv
文件格式说明:同一轮次的待评测内容请标识相同轮次号,轮次号及Prompt列为必填,其它列为选填
离线评测(单轮):需要由数据集上传Prompt和Response数据。评测数据为单轮对话形式。
示例文件:(预置)单轮离线评测范例数据集.csv
文件格式说明:Prompt列及待评测的ResponseNew列为必填,其它为选填。单模型评测时可只填写ResponseNew列,无需填写ResponseOld列
离线评测(多轮):需要由数据集上传Prompt和Response数据。评测数据为多轮对话形式。
示例文件:(预置)多轮离线评测范例数据集.csv
文件格式说明:同一轮次的待评测内容请标识相同轮次号,轮次号及Prompt列及待评测的ResponseNew列为必填,其它为选填。单模型评测时可只填写ResponseNew列,无需填写ResponseOld列