在评测场景中，评测集是一个精心设计的标准化测试数据集，用于系统化地评测 AI Agent 的性能。评测集通常包含输入样本和预期输出。输入样本作为评估对象的输入数据，预期输出提供了评估基准。在开始执行评测实验前，需要先准备好评测集。本文指导你创建和管理评测集。 ## 评测集介绍评测集是用于评测评估对象的一组数据。它通常包含输入数据和预期的输出结果，帮助开发者验证评估对象的效果。对于评测集中通常包含以下列： * 输入数据（input）：这些是提供给评测对象的标准化测试样本，用于评测 AI Agent 在不同场景下的表现。 * 预期输出（reference_output）：这些是理想的结果，作为评估基准，帮助评估者或评估器对输出做出判断。 * 实际输出（actual_output）：评测对象的实际输出，通常用于线上 Trace 数据回流场景。 ## 评测集限制设计评测集之前，你需要了解评测集文件的以下限制： * 最多可添加 5000 条测试数据，文件大小限制为 200 MB。 * 本地上传的 CSV 文件仅支持 UTF\-8 编码格式。 * 最多添加 50 个自定义列。 ## 评测集设计原则设计评测集的用户问题时，应注意： * **确保核心链路通畅**：评测集需要覆盖 AI Agent 的各个功能点，尽量模拟真实的用户交互、设计典型对话，以确保 AI Agent 的表现符合产品设计和业务需求。 * **评估范围全面**：评测集应该包含不同难度、不同领域的数据，以便全面评估模型的性能。如果包含多种任务，需要确保各个类别之间的数据量均衡，保证每种任务都有足够的样本数据。 * **覆盖极端场景和异常输入**：尝试通过评测集识别出 AI Agent 响应质量不符合预期的场景，同时也需要模拟异常输入、超限输入、违规输入的情况，判断 AI Agent 在各种场景下是否都可以按照预期执行任务。 * **确保覆盖异常案例**：对于用户反馈不合理的 AI Agent 响应案例，将其添加到测试集中，确保 AI Agent 的新版本已解决这些问题，可以按预期执行任务。 ## 构建评测集评测集构建包含创建评测集和添加测试数据两个操作。 ### 步骤一：创建评测集参考以下步骤，创建评测集。 1. 登录 [AgentKit控制台](https://console.volcengine.com/agentkit)。 2. 在左侧导航栏，选择**评测 \> 评测集**，然后把鼠标移动到 **+ 新建评测集 ** 按钮上，在下拉菜单中单击 +**新建评测集**。 3. 在**新建评测**集页面，参考以下信息配置评测集的数据列信息。单击 **+添加列** 可以添加自定义列。数据列信息配置完成后，单击**创建**。 |**配置项** | |**说明** | |---|---|---| |

|**名称** |输入一个评测集名称。 |\ |基本信息

| | |\ | | | | |^^|**描述** |提供一个评测集描述。 | |

|**input** |指定输入样本列配置： |\ |配置列

| ||\ | | | * **名称**：输入列名称。必须以英文字母开头，支持添加字母、数字和下划线。 |\ | | | * **数据类型**：选择一种数据类型。通过校验数据类型，避免导入数据不匹配的情况，保证评测的数据质量；同时可以提高数据的消费和存储成本。 |\ | | | * **查看格式**：选择一种渲染评测数据的格式，提高数据的可读性和维护性。 |\ | | | * **描述信息**：提供描述信息，帮助评测对象理解这个输入数据。 | |^^|**reference_output** |指定数据集中期望输出列配置： |\ | | ||\ | | | * **名称**：输入列名称。必须以英文字母开头，支持添加字母、数字和下划线。 |\ | | | * **数据类型**：选择一种数据类型。AgentKit通过校验数据类型，避免导入数据不匹配的情况，保证评测的数据质量；同时可以提高数据的消费和存储成本。|\ | | | * **查看格式**：选择一种渲染评测数据的格式，提高数据的可读性和维护性。 |\ | | | * **描述**：提供预期输出的补充信息，可作为评估时的参考标准。 | ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_6e26a19ce0827dc487a7edfcd474c27a.png =849x) 系统会根据指定的数据列配置创建一个草稿版本的评测集。 ### 步骤二：添加测试数据接下来，就可以在已创建的评测集中添加数据了。AgentKit支持 **本地上传** 和 **手动导入** 两种方式添加测试数据。当你需要批量上传测试数据时，选择本地上传方式。 #### 手动添加 1. 在评测集详情页面，选择添加 **数据 \> 手动添加 ** 来添加测试数据。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_6dcb94f23edc549d56ac135727cfea97.png) 2. 在 **添加数据 ** 页面，输入第一组测试数据，然后单击 **+ 添加数据项 ** 添加更多测试数据。最后，单击**添加**完成数据添加。![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_850584333aca63c337b068f85ba1bda2.png =580x) #### 本地上传 1. 在评测集详情页面，选择添加 **数据 \> 本地导入 ** 来添加测试数据。![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_08c5cf46f5163db8972ffce437ed9c03.png) 2. 在 **导入本地数据** 页面，选择 **导入方式**，然后上传要导入的测试数据文件。你可以选择以下导入方式： * **追加数据**：在不影响原数据的前提下，将新数据添加到评测集。 * **全量覆盖**：把原数据全部替换为新数据。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_5d0727fb043fdb20a9c99c64f59a99a3.png =411x) 3. 当完成数据导入后，将文件中的数据列与评测集的数据列进行映射。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_2a9a8bdc1845b5873305ac01c356cce8.png =499x) 5. 单击 **导入**。导入完成后，系统会提示执行结果。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_a1941d8f88e88099eee73c9038c55e3b.png =359x) ## 修改评测集 ### 修改评测集基础信息 * 方法一：在评测集列表页面，选中目标评测集，然后单击 **修改 ** 来修改评测集的名称和描述。 * 方法二：在评测集详情页面，单击评测集名称旁边的编辑图标修改评测集名称和描述。 ### 修改数据列你可以在评测集**草稿**状态下，修改评测集的列配置。在评测集详情页面，单击**编辑列**。然后，在列配置页面，删除、增加列或修改列的数据类型。仅当**++评测集草稿数据为0++**时，方可修改数据类型。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_8ba7d212ac66839e61a4509d97137250.png) ### 修改评测集数据你可以在评测集**草稿**状态下，修改评测集数据。草稿版本的评测集数据修改不影响已提交的历史版本。如果历史版本的评测集关联了实验，也可以根据历史版本的实验回溯原版本数据。 * 新增数据项：在评测集详情页面，单击**添加数据**。 * 修改数据项：在评测集详情页面，单击目标数据项操作列下的**编辑**，然后修改数据并保存。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_a83ba5d3b3378a62c2067a81e91cac77.png =1182x) * 删除数据项： * 单条删除：在评测集详情页面，单击目标数据项操作列下的**删除**，即可删除该条数据。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_91145a4ab9b00c7e8b66f6a3330925a4.png) * 批量删除：评测集详情页面，先单击 **批量选择**，然后选择要删除的数据项，再单击 **删除 ** 即可删除所选数据项。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_a23de602b0caeae855ed6571358093e5.png) ## 管理评测集版本评测集提供了版本管理能力，用于满足数据驱动型团队持续迭代评测数据以提高数据质量。评测集创建后默认为草稿状态。在不同评测阶段，测试集的版本作用也不同： * **数据完备阶段**：完成测试数据导入后，可提交首个测试版本并关联实验任务，系统将基于该版本进行全量评估。 * **评估验证阶段**：通过实验报告分析当前版本的数据表现，定位待优化数据样本。 * **优化升级阶段**：根据评估结果修正数据集后，提交升级版本并重新关联实验，开启新一轮验证循环。这种版本机制通过"提交\-评估\-优化"的递进式循环，确保评测集持续满足评估迭需求。 ### 新建评测集版本 1. 在添加测试数据后，单击**提交新版本**。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_3dd40c9709f500720f6a5947fee9ea51.png) 2. 在弹出的对话框内容，确认版本号后，再单击**提交**。 ### 查看评测集历史版本在评测集详情页，单击**历史版本。版本记录**区域会显示全部已提交的版本，单击一个目标历史版本，就可以切换到该评测集的历史版本。不支持修改历史版本的测试集数据。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_848c06d963ab086c5e35918fb8d818aa.png) ## 后续操作 ### 新建实验你可以在评测数据构建完成并提交版本后，直接从评测集发起实验进行评测。在评测集详情页，单击 **+ 新建实验**。![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_3ed2546be27837aa2198d76131adc6ea.png) ### 关联实验关联实验模块提供了一个聚合视图，展示与同一评测集关联的所有评测实验。你可以在此页面查看当前实验列表中各个实验在不同评估器指标下的得分。如果需要更深入的对比分析，你可以选择多个实验并发起实验对比，以获得详细的比较结果和洞察。该方式可以帮助你更好地理解实验之间的差异和性能表现，从而支持更精准的优化和决策。![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_c4b609b4fd765bbf34b8a49d09983a8d.png) ## 相关信息 ### 评测集数据类型创建评测集时，你需要为每个字段设置数据类型，AgentKit通过校验数据类型，避免导入数据不匹配的情况，保证评测的数据质量；同时可以提高数据的消费和存储成本。目前评测集支持以下常见类型的数据字段： |**数据类型** |**说明** |**示例** | |---|---|---| |string |字符串，可用于存储任何数据类型。 |"helloworld" | |int |整数，等同于 int64。 |1 | |float |浮点数，等同于 float64。 |1.23 | |boolean |布尔值。 |true | |Object |对象数据类型，典型适用场景包括： |```JSON|\ | ||{|\ | |* 评测对象有相对固定的 IDL（接口定义语言）。 | "content": "hello world",|\ | |* 线上 Trace 回流时，需要确保流入评测集的数据的规整，避免数据污染。 | "user_name": "alice"|\ | |* 配置实验时，需要下钻到 Object 对象的某个内部字段。 |}|\ | | |```|\ | | | | |Array |数组数据类型，数组内部的 Item 类型支持设置为： |[1,2,3,4,5] |\ | || |\ | |* String | |\ | |* Int | |\ | |* Float | |\ | |* Boolean | |\ | |* Object | |