评测数据集格式说明

1. 创建人工评测数据集

入口：数据集菜单页面，点击左上角的 创建数据集 按钮。

2. 填写创建数据集表单

填写创建数据集表单，包括填写数据集名称，选择“评测”数据类型，上传数据集文件，填写标签、描述。

数据集文件示例

1. 在线评测(单轮)：需要由数据集上传Prompt数据，Response调用方舟模型在线生成。评测数据为单轮对话形式。

   1. 示例文件：
      

      (预置)单轮在线评测范例数据集.csv

      1.10KB

      
   2. 文件格式说明：Prompt列为必填，其它列为选填

2. 在线评测(多轮)：需要由数据集上传Prompt数据，Response调用方舟模型在线生成。评测数据为多轮对话形式。

   1. 示例文件：
      

      (预置)多轮在线评测范例数据集.csv

      2.54KB

      
   2. 文件格式说明：同一轮次的待评测内容请标识相同轮次号，轮次号及Prompt列为必填，其它列为选填

3. 离线评测(单轮)：需要由数据集上传Prompt和Response数据。评测数据为单轮对话形式。

   1. 示例文件：

      

      (预置)单轮离线评测范例数据集.csv

      4.61KB

      

   2. 文件格式说明：Prompt列及待评测的ResponseNew列为必填，其它为选填。单模型评测时可只填写ResponseNew列，无需填写ResponseOld列

4. 离线评测(多轮)：需要由数据集上传Prompt和Response数据。评测数据为多轮对话形式。

   1. 示例文件：

      

      (预置)多轮离线评测范例数据集.csv

      15.08KB

      

   2. 文件格式说明：同一轮次的待评测内容请标识相同轮次号，轮次号及Prompt列及待评测的ResponseNew列为必填，其它为选填。单模型评测时可只填写ResponseNew列，无需填写ResponseOld列