使用前提: 模型广场中的主流大模型,以及精调训练完成后的仓库模型,可直接选中进行评测,无需额外配置。
入口1:登录火山方舟平台,点击左侧导航栏中的 评测任务 模块, 进入模型评测功能页面
入口2:通过 左侧导航栏中的 模型仓库 模块,勾选需要评测的模型,点击页面下方的 发起评测 按钮
入口3:通过 左侧导航栏中的 模型精调 模块,找到需要评测的模型,点击页面右侧的 发起评测 按钮
点击 创建评测任务 按钮 ,创建一个新的评测任务。填写模型评测任务表单,包括基本信息和评测配置。待评测的模型,可以选择来自模型广场的基础模型,精调后的任一模型、模型仓库内的模型。
添加评测集
预置评测集:已按不同能力维度进行划分,用户可以自由选择或全面或针对性考察模型能力。参考模型评测体系介绍,帮助你选择更加符合评测诉求的评测组合。
自定义评测集:如果你希望使用自己准备的评测题库,可以通过“上传数据集”或“从TOS导入”的方式添加评测集
评测集准备方式可以参考评测数据集格式说明
评测方法选择,需要根据评测要求和评测题型选择更加合适的评测计算方法。以下为各种评测方法的适用场景和举例:
评测方法 | 适用评测题目类型 | 举例 |
---|---|---|
前缀匹配(Prefix Match) | 适用于需要模型提供和标准答案相同的题目,生成模型可能还会输出额外的补充信息,但不会影响得分判断 | 题目要求模型回答“首都是哪里?”标准答案是“北京”。如果模型的回答是“北京” 或以“北京”开头“北京。北京是一座古老的城市...”,均得分为100分。如果模型的回答不以“北京”开头,则得分为0分 |
包含关键词 (Include) | 适用于需要模型回答中包含特定关键词或信息的题目,而不需要完全匹配。 | 题目要求模型回答“首都是哪里?”标准答案是“北京”。如果模型的回答也是“北京”,或者“首都是北京”则得分为100分。如果模型的回答不包含“北京”,则得分为0分。 |
仅生成模型回答(Inference Only) | 以上评测方法均不适用。评测模块也提供模型批量推理服务,提交的评测任务会将模型生成的回答进行录入,但不会进行得分统计。用户可根据模型生成的答案自行灵活的进行相关评测指标的计算。 |
注意:当上传识别为"多轮对话"数据集格式时候,平台会自动识别。对于此类数据集无法获得多轮评测的分数结果,仅能获得模型推理结果。结果内容可以导出查看。
确认评测内容并提交 模型和评测集选择后,右侧栏会显示本次模型评测任务所需的费用预估。确认无误后,点击“提交评测任务”按钮启动任务。
任务启动后,可在评测任务列表中查看任务的运行状态和评测进度。每个模型都有属于该模型的单独评测任务,以便进行独立或组合查看。