模型评测体系介绍

预置评测

360评测

• MMLU: MMLU 是业界评测大模型最常用的综合数据集，由各种学科的多项选择题组成。其涵盖了人文学科、社会科学、自然科学和其他重要的学科领域。其中包括57个任务，包括初等数学、历史、计算机科学、法律等等。为了在这个测试中达到高准确度，模型必须具有广泛的世界知识和问题解决能力。

基础能力评测

• 语言创作

  • 高考语文: 高考是中国最具权威性和全面性的标准化考试之一，该数据集包含246道从2010年到2022年的高考语文试题。

  • 高考英语: 高考是中国最具权威性和全面性的标准化考试之一，该数据集包含306道从2010年到2022年的高考英语试题。

  • LSAT阅读理解: LSAT(Law School Admission Test)，法学院入学考试，由阅读理解、逻辑推理、分析推理三个部分组成。该数据集是其中的阅读理解部分，由269道包含文章和问题的选择题组成，主要测试模型准确阅读并理解复杂文章，组织有关信息并得出合理结论的能力。

  • Hellaswag: HellaSwag 是一个用于评估常识自然语言理解的挑战性数据集，它对于目前的最先进的模型来说非常困难，但是对于人类来说却很容易（>95%的准确率）。它包含了10042个多选问题，每个问题都有一个场景和四个可能的结局，要求模型选择最合理的结局。

  • BoolQ: BoolQ 是一个阅读理解数据集，包含3千多个问题和相关的维基百科段落，模型需要依据维基百科段落中的信息针对问题回答是/否。

• 推理数学

  • BBH(Big-bench Hard): BBH从BIG-Bench数据集中选择了23个最难的任务，要求模型根据给定的问题，生成正确的回答。该数据集涉及不同的领域，主要涵盖数学，常识推理，软件开发等。

  • GSM8K: GSM8K是由OpenAI发布的，包含1千多道需要2到8个步骤解决，主要涉及基本算术运算的小学数学题数据集。

  • WinoGrande: WinoGrande是一个用于常识推理的大规模数据集，包含1千多个问题，每个问题都是由一个句子和一个代词组成，要求根据上下文判断代词指代的是哪个名词。

  • LSAT分析推理: LSAT(Law School Admission Test)，法学院入学考试，由阅读理解、逻辑推理、分析推理三个部分组成。该数据集是其中的分析推理部分，由230道需要模型根据给定条件和限制关系进行推理的选择题组成，主要测试模型理解复杂关系结构并推出结论的能力。

  • LSAT逻辑推理: LSAT(Law School Admission Test)，法学院入学考试，由阅读理解、逻辑推理、分析推理三个部分组成。该数据集是其中的逻辑推理部分，由510道包含短文或对话的选择题组成，主要测试模型从已知事实或前提推理得出合理结论的能力。

• 知识能力

  • Natural Questions: Natural Questions是一个问答数据集，包含3600多个问题，每个问题都是从google查询而来。

  • TriviaQA: TriviaQA 是一个现实的基于文本的问答数据集，内容主要来自维基百科。

  • 高考文理综: 高考是中国最具权威性和全面性的标准化考试之一，该数据集包含1千多道从2010年到2022年的高考文综和理综试题。